North Korean missile classification system using transfer learning

전이학습을 통한 북한 미사일 분류 시스템

Abstract

North Korea is engaging in military provocations against South Korea using ballistic missiles, including representative ones such as Daepodong-2, Daepodong-1, Nodong-1, and an improved version of Scud-C. In response to these North Korean missile threats, the South Korean military is establishing a rapid and systematic response system in coordination with the Korean Air and Missile Defense (KAMD). This paper proposes a 4-class classification model for North Korean ballistic missiles, specifically Daepodong-2, Daepodong-1, Nodong-1, and the improved version of Scud-C. The proposed method utilizes transfer learning with a ResNet34 model, and the dataset was constructed by crawling publicly available North Korean ballistic missile images on the internet. The machine learning library used for the experiment is PyTorch. The experimental results demonstrate that the proposed method achieves a mean average precision (mAP) performance of 93.09%, effectively classifying North Korean ballistic missiles. Future research plans include real-time missile detection and classification using video data.

북한은 대한민국에 대해서 탄도미사일을 이용하여 군사적 도발을 하고 있다. 대표적인 북한 탄도미사일로 대포동 2호, 대포동 1호, 노동 1호, 스커드 C 개량형이 있다. 이러한 북한 탄도미사일을 대응하여 한국군은 한국형 미사일방어체계(KAMD, Korea Air & Missile Defence)와 연계하여 북한 미사일 발사에 대한 신속하고 체계적인 대응시스템을 마련하고 있다. 본 논문에서는 북한 탄도미사일인 대포동 2호, 대포동 1호, 노동 1호, 스커드 C 개량형에 대해서 4진 분류 모델을 제안한다. 제안 방법은 ResNet34 모델의 전이학습 기법을 이용하였고 데이터셋은 인터넷상 공개된 북한 탄도미사일을 크롤링하여 구축하였다. 머신러닝 라이브러리는 파이토치를 사용하였다. 실험 결과를 보면, 제안방법은 평균 93.09% mAP 성능으로 북한 탄도미사일을 제대로 분류하는 것을 볼 수가 있었다. 향후 연구로 실시간 영상 데이터를 사용한 탄도미사일 탐지 및 분류를 할 계획이다.

1. 서론

국방혁신 4.0에 따르면 국방부는 4차 산업혁명 과학기술을 기반으로 인공지능 기반의 핵심 첨단 전력을 활용을 중점으로 전반적인 국방 분야에 인공지능 기술 적용을 적극적으로 추진하고 있다. [1] 그리고 최근 빅데이터를 활용한 다량의 학습 데이터와 GPU의 발전으로 실시간 대량 연산이 가능해지면서 이미지 및 영상 분야에서 딥러닝 기술을 사용할 때 뛰어난 성능을 보이는 중이다. 특히 실시간으로 이미지를 처리하고 분류할 때 딥러닝 알고리즘을 활용하면 사람이 분류하는 것보다 더 높은 성능을 보일 수 있다.

군사적 위협 측면에서, 북한은 꾸준히 대한민국에 대해 탄도 미사일을 사용한 군사도발을 지속하고 있으며 그 사거리와 제원 또한 다양해지고 있다. 대포동 2호, 은하 3호 등 수차례 장거리 발사체의 시험 발사에 성공함으로써 다단 로켓의 제작과 단 분리 기술, 견고한 기체 제작기술에 성공했으며 특히 화성-14형과 15형, 최근에 발사한 화성-17형 등 다수의 ICBM 발사에 성공함으로써 북한이 ICBM 제작 능력 또한 갖췄음을 알 수 있다. 현재 북한의 탄도 미사일 기술력은 이미 세계 최고 수준에 이르렀고 발사 플랫폼의 다양화를 통한 높은 은밀성을 갖췄다. [2]

그리고 고체연료를 사용한 미사일 발사 방식을 사용하여 미사일 발사 시간을 획기적으로 단축했다. 따라서 북한의 탄도 미사일 발사 징후를 포착하고 킬체인 혹은 한국형 미사일방어체계(KAMD, Korea Air & Missile Defence)를 사용하여 북한의 탄도 미사일 발사에 대응하는 것이 중요하다.

이에 본 논문에서는 북한의 탄도 미사일에 대해서 중거리 이상의 노동 1호, 대포동 1호, 대포동 2호, 스커드 C 개량형에 대해서 4진 분류 모델을 제안한다. 제안한 방법은 발사 준비 중인 북한의 탄도 미사일에 대해서 합성공 신경망을 활용한 전이학습 기반 분류모델을 사용하여 미사일별로 4개의 class로 분류하는 것이다. 본 연구의 공헌점은 다음과 같다. 먼저, 딥러닝 모델을 이용하여 북한 미사일 분류 모델을 처음으로 제시하였다. 두 번째로 북한 미사일에 대한 데이터셋을 인터넷상에서 구축했다는 점이다. 마지막으로 합성곱 신경망과 전이학습을 이용하여 실험적으로 제안한 방법의 타당성을 검증하였다.

이 논문의 나머지 내용은 다음과 같다. 2장에서는 제안한 방법에 대한 관련 연구를 소개하며, 3장에서는 제안한 방법을 상세히 설명한다. 4장에서는 실험 환경, 실험 결과 및 분석을 다루고 있다. 5장에서는 국방 분야에서 적용 가능한 방안에 대한 논의를 제공하며, 마지막으로 6장에서는 논문의 결론으로 구성된다.

2. 관련연구

2.1 전이학습

전이학습은 한 작업에 대해 이미 학습된 모델을 유사한 작업을 수행하는 모델의 기초로 이용하는 것이다[3]. 그림 1에서, 전이학습은 source domain에서 데이터를 통해 네트워크를 사전 학습시킨 후 source domain 네트워크에 추가로 계층을 추가하여 transfer learning 네트워크를 구성한다. 이후 target domain 데이터를 활용해 전이학습 네트워크를 학습시켜 새로운 target domain에 대한 출력을 얻게 된다. 이처럼 사전 학습된 네트워크의 지식이 새로운 target domain으로 전이되어 학습 데이터의 수가 적은 상황에서도 좋은 성능을 낼 수 있다.

그림 1 전이학습의 기본구조

군 내 데이터의 특성상 작전환경에 대한 접근성 문제, 보안 문제, 군 내 빅데이터 서버 구축제한 등의 사유로 많은 양의 이미지 데이터를 확보하기 어려우므로 적은 학습 데이터로도 좋은 성능을 낼 수 있는 전이학습 모델을 사용하는 것이 효과적이다.

2.2 합성곱 신경망

합성곱 신경망[4]은 합성곱 필터[5]와 max pooling[6]을 이용하여 특징맵을 추출하고 이 특징맵을 다층퍼셉트론[7]에 입력으로 제공하여 분류하는 모델이다. 기존 다층퍼셉트론과 달리 이미지의 공간정보와 특징을 잘 추출하기 때문에 이미지 분야에서 높은 정확도를 가지는 모델이다.

또한, 이미지 데이터의 수가 부족할 경우에도 상당히 높은 정확도를 제공하는 모델이다. 따라서, 이미지 분야에서 기본 베이스가 되는 모델이다. 이 연구에서는 합성곱 신경망 중에 ResNet34 모델[8]을 사용하였다. ResNet34 모델은 Residual 모델을 통해서 각 층에 정보 전달에서 입력정보가 추가적으로 전달되게 구성한 모델구조이며 Reception filter을 이용하여 파라미터터의 수를 줄이면서도 많은 지역적 정보를 담을 수 있도록 구성된 아키텍처이다.

이미 학습이 완료된 모델에서 ResNet 모델 기반이 파라미터의 용량도 적기 때문에 자주 사용된다. 또한, ResNet 모델은 이미 학습된 모델로 ImageNet을 통해서 3차원 컬러 이미지에 대해서 어느정도 좋은 성능을 제공하는 모델이다. 이 학습이 완료된 ResNet34 모델을 이용하여 제안방법에 전이학습을 적용하였다.

3. 제안방법

그림 2와 같이, 제안방법은 데이터 수집 및 전처리, 전이학습, 모델 성능 평가 순으로 구성되어 있다. 데이터의 수집은 웹크롤링을 통해서 데이터를 수집하며 데이터의 경우, 4:1 비율로 학습데이터셋과 테스트 데이터셋으로 구분한다. 웹크로링에 대한 자세한 설명은 4.1장에 설명하였다.

그림 2 제안방법의 절차적 단계

데이터 수집이 완료되면 전이학습 방법으로 합성공 신경망에서 마지막 층에 추가적인 학습을 실시한다. 이미 학습이 완료된 모델은 Resnet34를 사용하였고 마지막 단에 Fully connected layer [9]를 추가하여 거기에 있는 파라미터만 재학습이 되도록 구성을 하였다.

학습 원리는 마지막 층만 제외한 모든 층은 파라미터가 업데이트 되지 않도록 하고 마지막 층에 있는 파라미터만 업데이트 되도록 한다. 손실함수는 크로스 엔트로피를 이용하여 입력값에 대한 예측값과 실제값이 서로 같게 나오도록 손실함수를 정의하고 이 손실함수를 최소화하도록 마지막 층의 파라미터를 업데이트를 한다.

전이학습이 완료된 모델을 이용하여 테스트 데이터셋을 대상으로 성능 검증하는 방식으로 구성하였다. 테스트 데이터셋에 있는 실제값과 입력값에 대한 예측값이 얼마나 일치하는 정도를 성능평가 지표로 삼는다.

4. 실험 및 평가

이 장에서는 제안방법을 검증하기 위하여 실험 환경 및 실험 결과에 대해서 기술하였다. 본 실험을 진행한 실험환경은 Pytorch 머신러닝 라이브러리[10]를 사용하였으며, GPU는 NVIDIA T40을 사용하였다.

4.1 데이터셋

북한 탄도미사일에 대표적으로 노동 1호, 대포동 1호, 대포동 2호, 스커드 C 개량형을 선정했으며 4가지의 Class로 분류했다. 위의 4가지로 구분한 이유는 미국에 위협이 되고 중거리 이상의 미사일이 핵탄두를 장착되면 많은 나라에 위협이 되기 때문에 대표적인 북한 탄도미사일 4가지로 구성하였습니다. 북한 탄도미사일 4가지에 대해서 설명하면, 노동 1호는 사거리가 1300km이다. 대포동 1호는 다단식 탄도미사일로 사거리는 1500km 이상이다. 대포동 2호는 3단식으로 계량 시 사거리가 15000km으로 되어 있다. 스커드 C 개량형은 사거리가 1000km가 된다. 중거리 이상 미사일로 미국 등까지 도달 할 수 있는 미사일이면서 위협적인 미사일 4가지로 선정하였다. 웹 크롤링 기준은 해당 분류(“노동 1호”, “대포동 1호”, “대포동 2호”, “스커드c”) 키워드를 검색하였고 라이브러리는 파이썬에서 제공하는 downloader를 이용하였다. 웹크롤링을 이용하여 각 클래스별로 150장씩 수집한 후에 4:1 비율로 학습데이터와 테스트데이터로 나누었다. 나눈 후에는 torchvision에서 제공하는 transform을 이용하여 이미지 사이즈를 224 x 224로 재조정하였다. 또한, 전처리 기법에서 정규화와 학습 시 데이터 증강기법으로 좌우로 50% 확류로 반전시키는 방법을 적용하였다.

그림 2는 학습 데이터를 배치 단위로 불러와 격자형의 이미지로 시각화한 것이다.

그림 2 이미지 시각화

4.2 분류 모델

본 연구에서 분류 모델은 ResNet34를 사용하였고 전이학습을 위해서 마지막 단에 fully connect layer로 구성하였다. 4개 분류 모델이기 때문에 마지막의 노드 개수는 4로 설정하였다. 하이퍼 파라미터로 학습률은 0.001로 설정하였으며 학습 데이터에 대한 반복 학습 횟수인 epoch는 500으로 설정하였다. 최적화 알고리즘인 optimizer로는 기본적인 SGD(stochastic gradient descent method)를 사용하였다.

4.3 분석결과

각 Class 별 120장은 훈련데이터로 활용하였고 40장은 테스트 데이터로 사용하였다. 본 논문에서는 ResNet34을 기본 네트워크로 설정하고 마지막 층에 Fully connect layer 층을 추가하여 전이학습 네트워크를 구성하였다. 클라우드 상에서 500회 학습을 진행했고, 학습시간은 약 3시간이 소요되었다. 실험결과 측면에서 학습 횟수가 증가함에 따라 오차율은 감소하는 것으로 확인되었다. 500회의 반복 학습을 통한 mAP는 93.09%이다. 하지만 학습 횟수가 증가하는 과정에서 학습 데이터에 대한 과적합 현상(over fitting)이 발생하는 경우가 있으므로 최상의 mAP는 95.57%로 나타났다. 참고로 그림 3은 분석 결과 이미지를 보여준다.

그림 3 분석 결과 이미지 (평균 mAP 93.09%)

5. 국방 분야에서의 제안방법 활용

국방 분야에서 이미지 데이터에 대한 분류모델은 유용할 수가 있다. 불확실성이 큰 전장환경에서 이미지 정보가 입력으로 들어갔을 때, 이에 대한 분류는 이미지 식별에서 중요한 요소이기 때문이다. 따라서 이러한 이미지 식별 측면에서, 전이학습 방법은 유용할 수가 있다. 이미지 데이터셋이 많지 않은 경우, 소량의 데이터셋에 대하여 이미지 분류를 해야할 필요성이 있을 수 있다. 전장 상황에서도 많은 수의 학습 데이터를 구축하는 것은 실제 환경에서 제한이 될 수 있다. 이런 경우, 이미 ImageNet과 같이 양질의 데이터를 대량으로 학습한 모델을 기반으로 마지막 층만 추가적으로 학습하는 전이학습은 용이하다.

이 연구에서는 군사적으로 북한의 미사일 식별 관련해서 분류 모델을 만들었다. 몇백장의 소량 이미지만 있을 경우에도 95% mAP 이상의 성능을 제공하는 것을 볼 수가 있었다. 추가적으로 북한 미사일 이외에 다른 전장과 관련된 이미지 데이터셋을 구축하여 분류하는 모델에 이 연구가 적용될 수 있다는 점에서 연구 확장성을 갖는다. 향후 연구 측면에서, 미사일 분류에 따라서 사거리를 알 수 있기 때문에 사거리 별로 아군 측에 대응하는 시스템을 연동하는 연구도 가능하다.

6. 결론

본 논문에서는 북한의 탄도 미사일 대응방안 중 북한 미사일 분류 모델을 제안한다. 제안한 방법은 합성곱 신경망 중에 ResNet34 모델을 사용하여 전이학습 방법을 적용하였고 북한 미사일 별로 4진 분류하는 모델을 구성하였다. 실험결과를 살펴보면, 제안방법은 평균 93.09% mAP의 성능을 보였으며 가장 최고 성능은 95.57% mAP를 보였다.

향후 연구측면에서, 이미지 분류가 아닌 실시간 영상에서 객체를 탐지하는 YOLO 모델[11]을 이용한 미사일 탐지 및 분류 연구는 향후 탄도 미사일 발사 대응에 유용할 것이라고 판단된다. 또한, 데이터 구축 측면에서, 미사일 동영상 관련 파일을 획득 후 시간 구간별로 이미지를 확보한다면 데이터 수집때 용이할 수가 있다.