A Study on the Evaluation Model for Cyber Crisis Response Simulation Training

사이버 위기대응 모의훈련 평가모델 연구

Abstract

Amid the growing frequency of cyber incidents targeting telecommunications providers, financial institutions, and e-commerce platforms, cyber crisis response simulation training has emerged as an indispensable mechanism for organizational risk management. The Korea Internet & Security Agency (KISA) has conducted regular and ad hoc simulation exercises based on realistic scenarios such as phishing emails and distributed denial-of-service (DDoS) attacks, subsequently providing the outcomes to participating organizations to support the enhancement of their cybersecurity resilience. This study proposes a newly established evaluation model that incorporates performance indicators capable of measuring the degree to which training objectives are achieved at each stage of the exercise. Furthermore, the model integrates diagnostic results pertaining to organizational security maturity, thereby addressing both human factors in security and broader risk management competencies. The proposed evaluation framework is anticipated to be adopted by enterprises undertaking simulation exercises, enabling them to elevate the quality of training, remediate identified vulnerabilities, and ultimately contribute to strengthening the overall cybersecurity posture of domestic industries.

통신사, 금융사, 쇼핑몰 등 사이버 침해사고가 급증하고 있는 상황에서 사이버 위기대응 모의훈련은 각 개별 기업, 기관들이 필수적으로 진행해야 하는 위기관리 수단이 되고 있다. 한국인터넷진흥원에서는 해킹메일, DDoS 공격 등 실제 발생가능한 사이버 위기대응 모의훈련을 매년 정기, 수시로 수행하고 있으며, 이러한 훈련 결과를 기업들에게 제공하여 기업들의 보안역량 강화에 기여하고 있다. 이번에 평가모델을 새로 정립하면서 각 훈련 단계별로 훈련 목적 달성여부를 측정할 수 있는 평가 지표를 개발하고, 기업의 보안수준을 높이기 위한 진단 결과를 평가지표에 추가하여 보안인적요소와 위험관리 수준을 높이기 위한 평가모델을 개발하였다. 이러한 평가모델이 모의훈련을 수행하는 기업에 활용되어 훈련 수준을 높이고, 취약점 진단 결과 개선을 도모하도록 함으로써 국내 기업들의 보안수준을 제고하는데 도움이 되기를 기대한다.

1. 서론

최근 한국은 통신사 해킹사고, 금융사 해킹사고 등 전국민이 일상적으로 사용하는 인터넷 서비스의 신뢰성을 흔드는 피해사고를 경험하고 있다. 사이버 공격은 그 빈도와 파괴력 면에서 급격히 증가하고 있으며, 랜섬웨어, 분산 서비스 거부(DDoS), 국가 후원 해킹 등 다양한 형태로 나타나고 있다. 이러한 위협에 효과적으로 대응하기 위해서는 개별 기업, 기관들이 단순한 방어 체계 구축을 넘어, 실제 위기 상황에 대한 준비성을 높이는 것이 중요하다.

사이버 위기대응 모의훈련은 조직의 사이버 공격 대응 역량을 실질적으로 점검하고 향상시키는 핵심적인 수단 중 하나이다. 모의훈련은 실제와 유사한 공격 시나리오를 통제된 환경에서 시뮬레이션함으로써, 조직이 보유한 기술적, 절차적 취약점을 사전에 식별하고, 수립된 대응 계획의 실효성을 검증하며, 팀원 간 협조체계 및 의사결정 과정을 숙달할 기회를 제공한다. 특히, 모의훈련은 기관의 사이버 공격 대응체계를 실제 가동해 봄으로써 잠재적인 취약점을 발견하고 이를 개선하여 위기 대응 능력을 강화하는 데 직접적으로 기여한다. 또한, 실전과 같은 훈련을 통해 침해 사고 대응능력을 향상시키고, 임직원의 보안인식을 제고하는 효과도 기대할 수 있다.

모의훈련의 효과를 극대화하고 지속적인 개선을 유도하기 위해서는 체계적이고 객관적인 평가모델 도입이 필수적이다. 정형화된 평가모델 없이는 훈련의 성과를 정확히 측정하기 어렵고, 개선이 필요한 영역을 구체적으로 도출하는 데 한계가 있으며, 결과적으로 훈련에 투입된 자원과 노력의 가치를 온전히 실현하기 어렵다.

나아가, 사이버 공격으로 인한 막대한 경제적 피해 및 평판 손실 가능성은 효과적인 모의훈련의 필요성을 더욱 부각시키며, 이는 곧 훈련의 투자 대비 효과를 극대화하고 검증할 수 있는 정교한 평가모델의 개발을 촉구한다. 훈련을 통해 정성적/정량적 지표에 대한 명확한 데이터를 확보할 수 있으며, 이는 조직의 사이버 회복 탄력성 구축에 기여한다.

본 연구는 사이버 위기대응 모의훈련의 효과를 체계적이고 종합적으로 평가할 수 있는 지표체계를 포함한 평가모델 개발을 목적으로 한다. 이 모델은 한국인터넷진흥원에서 국내 기업 등을 대상으로 매년 실시하는 모의훈련 결과에 대한 객관적 분석을 가능하게 하여, 모의훈련에 참여하는 조직의 사이버 위협 대응 능력 강화에 실질적으로 기여하는 것을 목표로 한다. 본 평가모델 개발을 통해 달성하고자 하는 세부 목표는 모의훈련에 참여한 참가자, 참가 기업의 대응성과를 정량적·정성적 지표를 통해 객관적으로 측정하고, 평가 결과를 바탕으로 사이버 복원력 및 위기 대응 준비 태세의 지속적인 향상을 위한 구체적이고 실행가능한 권고사항과 피드백을 제공한다. 또한, 시간 경과에 따른 훈련 성과의 변화 추이, 다양한 시나리오 또는 조직 단위 간의 성과 비교 분석을 가능하게 하는 기반을 마련하는 것이다.

이러한 목적을 달성함으로써, 본 연구에서 개발되는 평가모델은 단순히 훈련 결과를 평가하는 것을 넘어, 조직의 사이버보안 투자 결정, 교육 프로그램 설계, 관련 정책 수립 등 의사결정 과정에 실증적인 데이터를 제공하는 역할을 수행할 것이다. 훈련 중 수집된 지표와 데이터, 그리고 사후 분석을 통한 정책 업데이트 등은 모두 평가모델이 생성하는 증거 기반 정보에 해당하며, 이는 데이터에 기반한 사이버보안 의사결정을 가능하게 할 것이다. 이러한 평가모델 개발은 사이버 침해대응 모의훈련을 시행하고자 하는 개별 기업 및 향후 연구자들에게 좋은 시사점과 방향성을 제공할 것으로 기대한다.

2. 국내 사이버 침해대응 모의훈련 현황(KISA)

2.1 모의훈련 개요

한국인터넷진흥원이 운영하는 모의훈련은 정기 훈련과 상시 훈련 2가지로 운영되고 있다. 정기 훈련은 매년 상·하반기 2회 일정 기간 신청을 받아, 일정 기간에 진행하는 방식으로, 지원대상은 민간기업 전체이고, 훈련내용은 해킹메일, 디도스공격, 모의침투, 취약점 탐지대응 훈련이다[1]. 상시 훈련은 사이버 시큐리티 훈련플랫폼을 활용하여 신청을 받으며, 지원대상은 중소기업으로 한정하며, 훈련 내용은 해킹메일, 디도스공격, 웹 취약점 점검, 탐지 대응 훈련이다. 훈련시기는 신청 기업이 선택할 수 있다[2].

<표 1> 모의훈련 종류

국내 중소기업의 81%가 인력·예산 부족으로 사이버 모의훈련을 수행하지 않고 있다는 것을 참고해 볼 때 기업들이 참여하여 활용하면 많은 도움을 받을 수 있는 훈련이다[3].

정기 모의훈련의 경우 강평회를 온·오프라인으로 실시(6월, 12월)하여, 훈련결과 발표, 만족도 설문조사, 우수기업 표창(원장상, 과기정통부 장관상) 등을 진행하고 있다.

상시 훈련의 경우 기업에서 자율적으로 사이버 모의훈련이 가능한 플랫폼을 운영(상시)하고 있으며, 기업이 자사 환경에 맞게 원하는 일정, 원하는 시나리오로 스스로 훈련을 수행할 수 있다.

훈련 종류별로 평가지표와 결과를 제공하여 피드백을 받을 수 있도록 하며, 훈련 이후 훈련결과를 토대로 필요한 경우 KISA에서 제공하는 중소기업 정보보호 지원 서비스를 신청할 수 있도록 안내·권고하고 있다.

2.2 모의훈련 내용

2.2.1 해킹메일

해킹메일 훈련은 임직원을 대상으로, 업종별 관심도가 높은 내용으로 제작된 악성 이메일을 발송하여 이에 대한 대응 역량을 점검하는 것을 목표로 한다. 이는 사회공학적 기법을 활용하는 대표적인 공격 방식인 해킹메일을 통해 사용자의 부주의나 낮은 보안 인식을 악용하는 APT(지능형 지속 위협) 공격에 대한 조직의 방어 능력을 평가한다. 훈련 평가는 수신자가 해킹메일을 식별하고, 이에 적절히 대응(신고, 링크 클릭 금지, 첨부파일 실행 금지) 하는 능력을 중점적으로 평가하며, 감염자에게는 사이버 보안 교육 콘텐츠를 제공하여 학습 효과를 높이고 있다.

2.2.2 DDoS

분산 서비스 거부(DDoS) 공격은 다수의 감염된 시스템을 이용하여 특정 대상 서버나 네트워크 자원에 과도한 트래픽 또는 요청을 집중시킴으로써, 정상적인 서비스 제공을 불가능하게 만들거나 심각하게 지연시키는 것을 목표로 한다. DDoS 공격 대응 능력에 대한 평가는 주로 실제와 유사한 공격 시나리오를 시뮬레이션하여 방어 시스템의 성능과 조직의 대응 절차를 검증하는 방식으로 이루어진다.

2.2.3 웹 취약점 점검

웹 취약점은 웹 애플리케이션의 설계, 개발, 배포, 또는 운영 과정에서 발생하는 보안상의 허점으로, 이를 통해 공격자는 시스템에 대한 비인가 접근, 데이터의 변조 및 유출, 서비스 기능의 오용 등 다양한 악의적 행위를 수행할 수 있다. OWASP에서는 주기적으로 가장 중요하고 빈번하게 발견되는 웹 애플리케이션 보안 위험 목록인 ‘OWASP Top 10’[9]을 발표하여 개발자와 보안 전문가들에게 주요 점검 항목에 대한 인식을 제고하고 있으며, KISA의 ‘주요정보통신기반 시설 기술적 취약점 분석·평가 방법 상세 가이드’[7] 및 금융보안원의 ‘전자금융기반시설 취약점 분석·평가 기준’[8] 등이 웹 취약점 점검의 중요한 기준으로 활용되고 있다. 웹 취약점 대응 훈련 및 평가는 이러한 다양한 유형의 취약점을 탐지하고, 그 위험성을 분석하며, 효과적인 방어 및 보완 조치를 수행할 수 있는 능력을 배양하는 데 초점을 맞추고 있다.

2.2.4 모의침투

모의침투는 승인된 환경 내에서 실제 공격자와 동일한 관점, 기법, 도구를 사용하여 정보 시스템, 네트워크, 애플리케이션 등의 보안 취약점을 능동적으로 식별하고 악용하려는 공격 시뮬레이션이다. 이는 단순한 취약점 스캐닝을 넘어, 발견된 취약점이 실제로 어떻게 공격 경로로 활용될 수 있는지, 이를 통해 어느 수준의 시스템 권한 획득이나 정보 유출이 가능한지를 실증적으로 검증하는 데 목적이 있다.

2.2.5 탐지대응 훈련

탐지대응은 웹 보안장비(IPS, WAF 등)를 보유하고 있는 기업 대상 취약점 탐지/대응 체계를 점검하기 위한 훈련으로, Log4shell, Spring4shell 등 파급도가 높은 취약점을 선정하여, 취약점 탐지/대응 여부 확인 및 대응 방안을 제공한다.

2.2.6 공격표면관리

공격표면관리는 외부 노출된 전산자원들(IP, 서버, 어플리케이션, 도메인 등)의 보안취약점을 점검한다. 점검결과 취약점별 위험도에 따라 High, Medium, Low로 평가결과와 조치방법을 안내해주는 결과보고서를 산츨해 제공해 준다.

2.3 모의훈련 참여 현황

연도별 모의훈련 참여 기업 현황은 <표 2>와 같으며, 2025년은 상반기 훈련까지 반영된 수치로 매년 참여 기업 수와 참여 인원이 큰 폭으로 증가하고 있다.

<표 2> 연도별 정기 모의훈련 참여 현황

신청방법은 보호나라 누리집(boho.or.kr)을 이용하여 신청하며, 적격심사를 통해 참여 기업을 선정한다.

(그림 1) 모의훈련 참여기업 선정 과정

3. 사이버 모의훈련 평가모델 연구 선행연구

3.1 선행연구

윤덕상 외(2017)은 실제 업무 환경에서 장기간·지속적 피싱 모의훈련을 실시하여 임직원의 피싱 메일 대응 역량 변화와 행동 변화를 분석하였고, 메일 열람율, 감염률, 신고율을 조사하였다[4].

이준희 외(2019)는 현장실험을 통해 이러한 스팸메일 공격에 취약한 임직원들의 인적요인을 연구하고 향후 개선방안을 수립하고자 하였다. 한 기업의 임직원을 대상으로 7차례에 걸쳐 훈련용 스팸메일을 발송하고 열람정보를 분석한 결과 훈련의 횟수와 수신자의 성별, 나이, 근무지 등의 인적요인이 열람율과 관계가 있음을 확인하였다[5]. 임선영 외(2019)는 사이버 전투 훈련에 참여하는 훈련자별 방어 스코어링을 국면별 점수, 전투행위 점수, 힌트, 교관 도움, 금지행위, 보너스, 훈련 관리자 점수로 구성하고 평가하였다[6].

장우현 외(2020)는 사이버 공방 훈련(DDoS, 시스템 파괴 및 오동작)에서 사이버훈련 참가자 개인별 훈련 성과 측정을 위해 위협 수행 단계(탐지–분석–대응–복구)에 따른 주요 평가지표와 훈련자 평가를 위한 평가지표로 구분하여 도출하였다. 실시간 로그, 네트워크 패킷(Rx/Tx), CPU 사용량, 접근 기록 등 객관적 계량 데이터를 활용하여 호스트 접근 기록, 호스트 탈취 여부, 방화벽 동작여부, 악성코드 종료 비율 등의 단계별 평가지표와 의사결정 시간 단축 비율, 호스트 탈취율, 방어 성공률 등을 훈련자 평가지표로 제시하였다[7].

Granåsen & Andersson (2016)은 NATO 주도의 Baltic Cyber Shield 2010 사이버 위기대응 모의훈련(CDX)을 사례로 하여, 사이버 방어팀의 효과성(team effectiveness)을 어떻게 측정할 수 있는지를 탐구한다. 기존 연구들이 주로 기술적 성과(예: 침투 방어율, 가용성 유지)에 치중했다면, 행동관찰(Observer report), 팀원 설문조사, 상황인식 측정을 결합하여, “무엇을 성취했는가 (Performance)”와 “어떻게 성취했는가(Effectiveness)”를 함께 평가하려 했다[8].

Pfaller et al.(2025) 는 참가자의 행동·진행 상황을 자동으로 수집하고, 실시간으로 평가 및 훈련 시나리오 제어까지 가능하게 만드는 체계 필요하며, 이를 위해 “모니터링 포인트”라는 개념을 도입하여, 특정 시스템·애플리케이션에서 발생하는 로그와 상태 변화를 체계적으로 기록·연계하는 방안을 제시하였다[9].

4. 사이버 모의훈련 평가지표 설계

4.1 평가모델 구성 방법

사이버 공격 유형별로 실제 공격을 실시하고, 조직의 사이버 대응체계가 운영되고 있는지를 평가한다.

사이버 공격 유형별로 훈련 목적과 훈련 평가요소를 도출하고, 평가요소별 지표를 설계하고 가중치를 배분하였다.

평가지표별로 평가도구를 정의하고, 측정방법을 제시하였다. 정량지표와 정성지표를 균형있게 배분하였다. 초동대응, 공격대응 단계의 정량적 지표 결과와 분석보고서와 훈련 피드백에 포함된 정성적 내용을 연계하여 분석하여 훈련성과를 평가할 수 있도록 배치하였다.

각 도출된 지표와 가중치에 대해서는 전문가 자문회의를 통해 의견수렴과 수정과정을 거쳐 최종 평가 지표와 가중치를 결정하는 방식으로 진행하였다.

4.2 훈련 분야별 정량·정성 지표 수립

4.2.1 해킹메일 평가지표

해킹메일 훈련의 경우 의심메일 유입탐지와 신고, 분석, 조치 전반적인 과정을 평가한다. 초동대응(40점), 공격대응(40점), 분석 및 개선계획(20) 단계별로 평가지표와 가중치를 설정하였다.

<표 3> 해킹메일 훈련 평가지표 및 배점

4.2.2 DDoS 평가지표

DDoS 훈련의 경우 DDoS 공격 탐지, 공격내용 파악, 차단 조치, 분석, 차단성공률 등을 평가한다. 초동 대응(80점), 분석 및 개선계획(20) 단계별로 평가지표와 가중치를 설정하였다.

<표 4> DDoS 훈련 평가지표 및 배점

4.2.3 웹취약점 점검

웹취약점 점검의 경우 훈련이라기보다는 관리하는 시스템의 취약점 점검 결과와 그 식별된 취약점에 대한 개선계획과 조치 실적을 평가하는 내용으로 취약점 식별 및 영향평가(70), 분석 및 개선계획(20), 개선 실적(10) 단계별로 평가지표와 가중치를 설정하였다.

<표 5> 웹취약점 점검 훈련 평가지표 및 배점

4.2.4 탐지대응

탐지대응의 경우 웹 보안장비 대상 고위험 취약점을 이용한 공격에 대한 탐지능력, 취약점 조치시간, 분석, 개선 실적을 평가한다. 관리하는 웹 보안장비의 취약점 점검 결과와 그 식별된 취약점에 대한 개선계획과 조치 실적을 평가하는 내용으로 초동대응(70), 분석 및 개선계획(20), 개선 실적(10) 단계별로 평가지표와 가중치를 설정하였다.

<표 6> 탐지대응 훈련 평가지표 및 배점

4.2.5 모의침투

모의침투의 경우 발견된 취약점과 취득 정보를 악용한 공격에 적절히 대응하고 조치했는지를 평가하는 것으로 취약점의 심각도, 취약점 조치, 모의침투 목표 달성 여부, 분석, 개선 실적을 평가한다. 공격탐지 및 대응(70), 분석 및 개선계획(20), 개선 실적(10) 단계별로 평가지표와 가중치를 설정하였다.

<표 7> 모의침투 훈련 평가지표 및 배점

4.2.6 공격표면관리

공격표면관리의 경우 외부에 노출된 전산자원들 대상으로 보안 취약점 심각도, 취약한 알려진 포트 비율, 취약점 조치, 분석, 개선계획, 개선 실적을 평가한다. 취약점 점검 결과와 그 식별된 취약점에 대한 개선계획과 조치 실적을 평가하는 내용으로 취약점 탐지 및 대응(70), 분석 및 개선계획(20), 개선 실적(10) 단계별로 평가지표와 가중치를 설정하였다.

<표 8> 공격표면관리 훈련 평가지표 및 배점

5. 결론

훈련 중 수집된 데이터를 기반으로 한 지표 중심의 평가는 향후 보안전략 수립에 중요한 기초자료를 제공하며, 평가모델은 이러한 과정을 체계화하는 역할을 수행한다. 사이버 공격 발생 시 신속한 대응과 시스템 생존성 보장을 위해 사이버 복원력이 요구되며, 평가 모델은 이러한 복원력 개념을 조직 내부에 효과적으로 내재화하는 데 중요한 도구로 작용한다.

사이버 위협 대응에 있어 기술적 요소만큼이나 인적 요소의 중요성이 강조되고 있다. 효과적인 평가모델은 기술적 통제 수단의 점검을 넘어, 훈련 참가자들의 상황 인식 능력, 의사결정의 적절성, 절차 준수 여부, 그리고 위기 상황에서의 의사소통 효율성 등 인적 역량까지 포괄적으로 평가할 수 있어야 한다. 단순히 규제 요건을 충족하기 위한 형식적인 훈련을 넘어, 실질적인 조직 역량 강화와 선제적인 보안 문화 구축으로 나아가기 위해서는 훈련의 효과를 객관적으로 측정하고 개선 방향을 제시하는 평가모델의 역할이 핵심적이다. 본 연구는 한국인터넷진흥원에서 매년 수행하고 있는 모의훈련에 참여하는 기업들 대상 훈련평가의 성과를 평가하고 훈련 목적 달성을 위해 필요한 데이터를 확보, 분석하기 위해 평가모델을 개발하였으며, 이러한 평가모델을 통해 참여기업들의 정보보호 역량수준을 자체 평가하고, 취약점 진단 결과 부족한 부분을 개선할 수 있도록 지원하는 역할을 수행할 수 있을 것으로 기대된다. 향후, 이러한 평가모델을 통해 수립된 데이터를 분석하여 향후 개선된 평가지표 개발 연구에 활용할 수 있도록 추가 연구가 필요할 것으로 보인다.