Analyis of intelligent fense surveillance system through image noise removal

열화상 이미지 노이즈 제거를 통한 지능 철책 감시 시스템 분석

Abstract

In this paper, we introduce an enhanced fortification monitoring system that combines thermal imaging with YOLO v7. We also present a methodology for improving reliability through image noise reduction, contributing to the development of an intelligent future fortification monitoring system. The significance lies in advancing the reliability of the previously introduced monitoring systems and programs, thereby suggesting a direction for the defense sector to progress further.

지속적인 출산율 감소로 인해 육군에서는 첨단 과학기술을 이용해 병역 자원 감소에 대응하기 위해 노력하고 있다. 과학화 경계 철책 시스템은 이러한 방안 중 하나이며, 육군본부에서는 기존에 있던 과학화 철책 시스템을 지속해서 보완하고 개선해 전방 부대의 인력 감축을 추진하고 있다. 한편, 과학화 철책 시스템 도입 이후, 경계 작전 실패 사례가 계속 발생하면서 사회적으로 논란이 일고 있으며, 가장 큰 문제이자 화두는 시스템 오작동으로 인한 신뢰도 저하이다. 본 논문에서는 열화상 이미지와 YOLO v7을 융합한 철책 감시 시스템을 제안하고자 한다. 이미지 노이즈 제거를 통한 신뢰도의 향상을 통해 지능화된 미래철책 감시 시스템에 더불어 이미지 노이즈 제거 기법을 통해 신뢰도를 향상하는 방법론에 대해 실험적으로 분석하였다. 기존의 소개했던 감시 시스템과 프로그램의 신뢰도를 한층 더 향상하여 국방 분야가 나아갈 방향을 제시했다는 점에서 의의가 있다고 판단된다.

1. 서론

국방부와 육군에서 AI 과학기술 강군을 목표로 인공지능 기술을 감시체계, 무기체계, 전투 지원체계 등에 적용하기 위한 노력을 하고 있다[1]. 육군의 경우, 과학화 감시체계를 통해서 전방 철책에 AI 기술을 적용하기 위한 노력을 하고 있다[2]. 왜냐하면 인구절벽으로 인한 육군 병력 감소 문제가 있기 때문이다. 하지만 이러한 과학화 감시 체계는 악천후, 야간 등에서 잘못 동작하는 사례가 많으며 사람, 동물 등에 분류하는 기능이 미흡한 실정이다. 특히, 현재의 과학화 경계 시스템은 광센서와 열화상 기능이 탑재된 영상 장비 등으로 구성이 되어 있어, 야생동물 등으로 인한 오인 경보가 빈번해 신뢰도 부문에서 많은 문제가 되고 있다.

인공지능 모델 중에 실시간 영상 데이터를 입력으로 받아 그 영상 데이터의 각 객체를 바운딩 박스로 표시하고 그 바운딩 박스에 각 객체가 무엇인지 분류하는 모델이 연구되고 있다. 대표적으로 실시간 영상 데이터에 대한 분류의 경우, Faster R-CNN[3]과 YOLO 모델[4]이 있다. 이 중에서 YOLO 모델은 Faster R-CNN보다 One step 방식으로 실시간 영상을 빠르게 처리하는 장점이 있어서 자주 사용되는 모델이다. YOLO 모델은 이미지 처리 기술과 객체 탐지 기술을 융합하여 객체를 탐지 후 이미지 처리 기술을 통해 객체가 어떤 클래스를 가지는지를 예측하는 분류 모델이다. v7은 YOLO 프로그램에서 비교적 최신에 나온 버전이며, 프로그램 실행 시 객체를 탐지하면 CNN(Convolutional Neural Network)[5]을 이용해 이미지를 처리하고 분류하여 최종적으로 탐지한 객체와 종류, 신뢰도를 나타내게 된다.

본 연구에서, 우리는 열화상 이미지에 대하여 효과적으로 이미지 내 객체를 분류하는 방법에 대하여 제안하였다. 제안 방법은 열화상 이미지에 대하여 이미지 노이즈 제거 방법을 통하여 전처리를 한 후에 YOLO v6 모델을 통하여 이미지 내 객체를 분류하는 방법이다. 야간 환경 등에서 열화상 이미지를 통해서 이미지를 식별할 경우, 악천후 등으로 노이즈가 반영될 경우 객체 식별을 잘 분류하는 방법이 필요하다고 판단하였다. 이 논문의 공헌점은 다음과 같다. 먼저, 제안방법은 최신 객체 탐지 모델인 YOLO v7[6]를 활용하였고 열화상 이미지의 노이즈를 제거하는 방식을 적용하여 성능을 분석하였다. 두 번째로, 이미지 노이즈를 제거하는 방식으로 Diffusion 모델[7], Denoising Autoencoder 모델[8], Gaussian 필터[9] 등을 사용하여 다양하게 성능 분석을 하였다. 제안 밥업은 전방 부대 과학화 철책 시스템에 도입하여 열화상 이미지에 대해서 동물과 사람을 잘 구분할 수 있게 학습하고 사람으로 식별할 때만 경보를 울리게 한다면, 오인 경보를 획기적으로 줄여 경계 작전의 성공 가능성을 높일 수 있다고 사료 된다.

이 논문의 나머지 구성은 다음과 같다. 2장에서 제안 방법에 관한 관련 연구를 소개하고 3장에서 제안 방법에 관해서 설명한다. 4장에서 실험환경, 실험 결과, 분석에 관해서 기술하였다. 5장은 제안 방법에 대한 다양한 측면을 토론한다. 마지막으로 6장에서 이 논문의 결론으로 구성되어 있다.

2. 관련연구

2.1 이미지 노이즈 제거 방법

전장 환경에서 다양한 요인으로 인하여 노이즈가 발생할 수 있고 이러한 노이즈가 반영된 이미지를 전처리하는 기술은 중요하다.

노이즈 제거 알고리즘은 여러 개가 있지만 이 연구에서 다룬 4가지 방법에 대해서 살펴보고자 한다. 먼저, Gaussian 필터[9]는 이미지의 픽셀 주변에 Gaussian 분포를 적용하여 평균값을 계산하고 노이즈를 제거한다. 두 번째로, Non-Local Means Denoising 필터[10]는 픽셀 간 유사도를 고려하여 텍스처와 패턴을 보존하면서 노이즈를 제거한다. 세 번째로, Image Denoising Autoencoder[8]는 딥러닝을 기반으로 하여 이미지를 입력으로 받아 Autoencoder를 학습시켜 원본 이미지를 복원함으로써 노이즈를 감소시킨다. 마지막으로, Diffusion 모델[7]은 이미지의 각 픽셀을 시간에 따라 노이즈가 확산하는 과정으로 모델링해 노이즈를 감소시킨다. 이렇게 다양한 방법들은 이미지의 특성 등을 고려하여 이미지 노이즈를 효과적으로 제거할 수 있다.

2.2 YOLO 모델

You Only Look Once (YOLO) 알고리즘[4]은 바운딩 박스와 바운딩 박스 안에 각 객체를 분류하는 것을 볼 수가 있다. 입력 이미지를 n x n 크기의 그리드로 나누고, 각 그리드 셀에 대해서 바운딩 박스와 객체 분류의 클래스 확률을 예측한다. 그리드 구성은 입력 이미지를 n x n 그리드로 나누고 각 그리드 셀은 바운딩 박스 예측과 함께 특정 클래스에 대한 확률을 예측한다. 바운딩 박스의 예측은 각 그리드 셀은 N개의 바운딩 박스를 예측한다. 각 바운딩 박스는 5가지의 값으로 구성되어 있으며, (x, y)는 바운딩 박스의 중심좌표, (w, h)는 바운딩 박스의 너비와 높이를 나타낸다. 이 값들은 그리드 셀의 상대적인 좌표를 나타내며 전체 이미지 크기에 상대적으로 다를 수가 있다. 바운딩 박스 안에 클래스 예측은 바운딩 박스 안에 각 객체에 대해서 합성공 신경망을 통해서 각 클래스의 확률값을 제공한다. 이러한 YOLO 모델은 신속한 객체 감지를 위해 한 번의 전 방향으로 모든 예측을 실행해 실시간 객체 탐지에 적합하다.

3. 제안방법

제안방법은 크게 2단계에 거쳐 진행되며 1단계는 이미지 노이즈 제거 단계, 2단계는 YOLO v7 모델을 이용하여 열화상 이미지에 객체를 탐지하는 방법이다.

앞서 소개한 모델을 통해 객체를 탐지하고 분류하기 위해서는 일반적으로 높은 해상도의 노이즈가 포함되지 않는 고품질의 이미지 데이터가 필요하다. 분류하고자 하는 이미지의 품질이 더 좋아질수록 모델이 이미지의 특징을 정확하게 추출하여 좋은 성능(신뢰도)을 낼 수 있기 때문이다.

만약 이미지 데이터 내에 노이즈가 포함되어 있다면 노이즈를 제거한 후 사용하는 것이 효과적이다. 특히, 본 철책 감지 시스템에서는 탐지하고자 하는 객체에 의도적으로 노이즈가 포함되어 있는 경우 모델이 정확하게 탐지하기가 더욱더 어려워지기 때문이다.

다음은 그림 1은 기존 열화상 이미지와 Gaussian 노이즈를 입힌 열화상 이미지를 나타낸 것이다.

그림 1. 좌측부터 기존 열화상 이미지와 Gaussian 노이즈를 입힌 열화상 이미지)

이러한 노이즈를 제거하기 위해서 본 논문에서는 노이즈 제거에 쓰이는 여러 가지 이미지 노이즈 제거 기법들을 적용해 보았다.

첫 번째는, Gaussian 필터이다. Gaussian 필터는 정규 분포 함수를 근사하여 생성한 필터 마스크를 사용하여 노이즈를 제거하는 모델이다.

두 번째는, Diffusion 모델을 이용한 노이즈 제거 활용이다. Diffusion Denoising Model은 GAN(Generative Adversarial Networks)이나 VAE(Variational Autoencoder)와 같은 생성 모델로, Forward process와 Reverse process 순으로 구성된 것으로 기존 이미지를 input 값으로 주면 생성된 이미지를 기존 이미지의 확률 분포와 유사하게 만들어 노이즈를 제거할 수 있도록 하는 방식이다. 특히, 이러한 생성 모델들은 노이즈로부터 이미지를 생성하기 때문에 이러한 이미지 노이즈 제거 기법에 활용했을 때 좋은 성능을 보인다

세 번째는, NI 필터이다. NI(Non-Local Means Denoising) 필터는 Gaussian 필터랑 비슷한 구조이지만, 이미지에서 해당 픽셀 주변 영역과 비슷한 패턴을 가지는 영역을 찾아 평균을 취해서 노이즈를 제거하는 모델이다.

네 번째는, Image Denoising Autoencoder이다. Image Denoising Autoencoder는 encoder - latent representation - decoder 순으로 구성된 것으로 기존 이미지를 input 값으로 주면 생성된 이미지가 기존 이미지의 노이즈를 제거할 수 있도록 하는 방식이다.

이렇게 이미지 노이즈가 제거된 열화상 이미지를 YOLO v7 모델에 입력으로 제공하여 모델의 출력이 나오도록 구성하였다.

4. 실험 및 평가

이 장에서는 제안방법을 검증하기 위하여 실험 환경 및 실험 결과에 대해서 기술하였다. 본 실험을 진행한 실험환경은 Pytorch 머신러닝 라이브러리[11]를 사용하였으며, GPU는 NVIDIA A100을 사용하였다.

4.1 분류 모델

객체 탐지 모델로 YOLO v7 모델을 사용하였다. YOLO v7 모델은 기존 YOLO 모델의 알고리즘 성능을 향상했으며, 더 작은 데이터셋을 이용한 학습이 가능하다. 또한, Model Reparameterization 방식을 적용하여 파라미터의 개수를 크게 줄였고, Trainable bag-of-freebies 방식의 최적화 프로세스를 사용하여 inference cost를 높이지 않아도 정확도를 향상할 수 있게 하였다.

4.2 분석결과

시스템 구현에서 성능을 높이기 위해 앞서 소개한 이미지 노이즈 제거 모델들을 이용하여 기존 이미지의 노이즈를 제거하고 YOLO v7 프로그램을 이용하여 성능을 측정하였고, 기존 이미지의 성능과 비교하여 노이즈의 제거가 인식 여부와 신뢰도에 어떠한 영향을 주는지 알아보았다. 그림 2는 일상적인 이미지에 대해서 노이즈 부여에 따른 성능 변화를 나타낸 결과이다. 바운딩 박스의 문자는 해당 객체의 프로그램을 이용해 분류한 클래스를 나타내며, 숫자는 구분한 결과의 신뢰도를 나타낸다.

그림 2. 좌측부터 Gaussian 노이즈를 입힌 열화상 이미지, NI 필터, Diffusion 모델과 Image Denoising Autoencoder 모델을 합친 모델, Gaussian 필터로 노이즈를 제거한 후 YOLO v7이 인식한 결과)

다음과 같은 일상적인 이미지 데이터를 투입해 성능을 측정한 결과, 노이즈가 추가되었을 때 YOLO v7 프로그램은 객체에 대해서 인식하지 못했고, NI와 Gaussian 필터로 노이즈를 제거해도 YOLO v7 프로그램이 인식하지 못했다. 하지만, Diffusion 모델과 Image Denoising Autoencoder를 합친 모델로 노이즈를 제거하고 난 후에는 프로그램이 객체를 인식하고 신뢰도를 나타내는 것을 볼 수 있었으며, 신뢰도 또한 93% 정도의 비교적 높은 수준으로 객체를 분류하는 것을 확인할 수 있었다. Gaussian 노이즈뿐만 아니라 알려진 많은 노이즈 제거 프로그램을 YOLO v7 프로그램에 넣기 전에 실행시킨다면, 시스템 성능을 획기적으로 향상하여 서론에 제시했던 지능화 철책 감시 시스템의 효율성을 극대화할 수 있을 것이다. 위 실험 결과는 모델이 학습되는 과정에서 해당 노이즈에 관해 학습하지 않았다는 점(Unseen)에서 의미가 있다.

5. 토론

이 논문의 연구 범위는 과학화경계 업무 중에 야간 작전 시 열화상 이미지 내 객체를 탐지하는 연구에 해당된다. 열화상 이미지의 경우, 이미지 내 노이즈가 많이 반영된 상태이고 해당 객체의 온도 변화 및 객체의 외형 형태로 객체를 판별하기 때문에 일반적인 이미지에 비해 열화상 이미지는 이미지 내 객체 탐지율이 저하되는 특징이 있다.

과학화경계 업무 측면에서, 과학화 경계업무에서 야간 상황 시 이미지 탐지 분야에 성능이 저하가 있다. 왜냐하면 야간 상황 시 적외선 장비를 이용하여 이미지를 획득하게 되는 데, 열화상 이미지 내 자체 노이즈가 많이 있어서 이 노이즈로 인한 이미지 내 객체 탐지가 좋지 않다. 따라서, 이러한 열화상 이미지 내에 객체 인식률을 증가시키기 위해서, 열화상 이미지 내 노이즈를 제거할 경우 이미지 내 객체 향상이 이뤄지는 것을 볼수가 있다. 따라서, 이미지 노이즈를 제거하는 방법에서 최신 딥러닝 모델인 Diffusion 모델과 Image Denoising Autoencoder를 사용하였고 이미지내 객체 탐지는 최신 알고리즘인 YOLO v7를 사용하였다.

제안 방법의 공헌점 측면에서, 제안방법은 이미지 노이즈 제거방법과 이미지 내 객체 탐지 모델을 활용하여 국방분야에서 적용한 연구이다. 이미지 노이즈 제거 방법으로 4가지 종류를 하였고 그 중에서 Diffusion 모델과 Image Denoising Autoencoder 방법이 효과적인 것을 실험적으로 확인하였다. 이미지 내 객체 탐지 모델은 최신 YOLO 모델인 YOLO v7를 적용하였다. 기존 연구를 활용한 측면에서 공헌점이 낮으나 국방 분야 중에 야간 열화상 이미지에 대한 객체 인식률을 실험적으로 분석하고 어느 방법이 효과적인지 실험적으로 확인했다는 것에 의미가 있다.

실험결과 측면에서, 인공지능을 이용한 컴퓨터 비전 기술 중 하나인 이미지 노이즈 제거와 YOLO v7 프로그램을 이용해 인간과 동물에 대한 구분 실험을 진행한 결과, 어느 정도 신뢰도가 나오기는 했으나, 실험 과정 중 노이즈를 제거하는 과정에서 기존 이미지 프로세싱을 통한 방법론들은 오히려 객체가 지워지는 등 많은 부분에서 부족한 점이 있다.

그림 3. 좌측부터 Gaussian 노이즈를 입힌 이미지와 노이즈를 제거한 후 객체가 더 알아보기 힘들게 변조된 이미지

제안 방법의 한계점 측면에서, 제안 방법은 실제 열화상 이미지에 대하여 노이즈 제거 방법 4가지와 YOLO v7 모델을 이용하여 실험적으로 성능 분석을 하였고 제안 방법의 효과성 및 가능성에 대해서 보여주었다. 하지만 제안방법의 한계점은 열화상 이미지 내 클래스가 증가할 경우, 성능 저하가 발생할 수 있으며, 다양한 환경에서 촬영한 열화상 이미지내 클래스에 대해서도 범용적으로 사용할 수 있는 시스템 개발에는 한계점이 존재한다.

제안방법의 의미 측면에서, 열화상 이미지에 군에서 제시한 시스템을 믿고 사용하기 위해서는 많은 노력이 필요하다. 확보된 열화상 이미지 데이터에 대한 해상도를 향상하고, 앞에서 언급한 시스템 기만 위협을 제거하기 위한 고성능 이미지 노이즈 제거 모델을 개발하려는 노력과 함께 본 논문에서 제시안 방안을 계속해서 발전시킨다면 미래에는 더 적은 인력을 활용한 효율적인 과학화 경계 시스템을 구축할 수 있을 것으로 사료 된다. 본 논문에서 이용한 프로그램을 이용해 우리 군이 국방혁신 4.0에서 제시한 것과 같은 4차 산업혁명 기술을 이용한 첨단 과학기술 강군으로 한발 더 나아가는 계기가 되기를 기대한다.

향후 연구 및 정책 측면에서, 적대적 공격과 같은 방법으로 지능화 철책 시스템을 기만하기 위해 의도적으로 의류나 장비에 인공지능을 활용해서 노이즈를 다양하게 입히고 시스템을 극복하려는 시도가 예상된다. 이러한 위험을 극복하기 위해서는 우리 육군에서 영상 데이터에 대한 노이즈를 정확하게 제거해 낼 수 있는 고성능 노이즈 제거 기술이 필요할 것으로 본다. 우리 군에서 위에서 언급한 지능화 철책 감시 시스템을 사용하기 위해서는 지속해서 정제된 열화상 이미지 데이터를 이용한 노이즈 제거 기술 성능을 향상해야 하고, 근본적인 시스템에 대한 꾸준한 개발이 필요하다고 사료된다. 과학화 경계 시스템에 대한 필요성에 대해서는 현역 간부들을 대상으로 설문 조사에서도 증명되었으며, 시스템 자체를 보완하고 업그레이드하기 위해서는 많은 노력이 필요할 것이다.

6. 결론

본 연구에서, 우리는 열화상 이미지 내 객체 탐지 및 분류를 효과적으로하는 방법을 제안하였다. 제안 방법에서 열화상 이미지 내 노이즈를 Diffusion 모델과 Image Denoising Autoencoder를 이용하여 전처리 한 후에 YOLO v7 모델을 통하여 이미지 내 객체를 93% 신뢰도로 탐지 및 분류하는 것을 볼 수가 있었다. 따라서, 본 연구의 제안 방법은 열화상 이미지 내 객체 성능을 향상시킬 수 있는 가능성을 보여준 점에 의미가 있다.

향후 연구로 야간 환경 뿐만 아니라 악천후, 안개와 같은 특수 환경에서도 이미지 내 객체 분류 및 탐지가 중요하다. 제안 방법을 응용 및 활용하여 악천후, 안개 환경 속에서도 이미지 내 객체 탐지 성능을 개선 연구는 흥미로운 연구주제가 될 것이다.