Effective Few-Shot Learning for Military Vehicles Image Classification Using Prompt-Based Learning

제한된 수의 군사 이미지 분류에서 활용 가능한 프롬프트 기반 방법의 퓨샷러닝 성능 검증

Abstract

Due to the sensitivity and security concerns in the military domain, building large-scale datasets is challenging. To overcome these constraints, this study proposes an approach for effectively training deep learning models with limited data using PromtSRC which is a prompt-based method. We constructed a dataset containing real images of tanks and military aircraft reflecting real military environments, and used this dataset for training. The performance of the prompt-based few-shot learning approach was evaluated by comparing it with a benchmark model, CLIP. Experimental results indicate that the proposed model maintains relatively high accuracy in data-limited scenarios, suggesting it as a promising solution to overcome data scarcity in the military domain.

군사 분야의 데이터는 민감성과 보안상의 이유로 인해 대규모 데이터셋 구축에 상당한 어려움이 존재한다. 이런 제약적인 환경을 극복하기 위해, 본 연구에서는 프롬프트 러닝(prompt learning)에 기반한 접근법인 PromptSRC를 퓨샷러닝(Few-shot Learning)에 적용해 제한된 데이터만으로 딥러닝 모델을 효과적으로 학습하는 방법을 제안한다. 본 연구에서는 적은 수의 이미지만을 학습에 사용할 수 있는 실제 군사 환경을 반영하기 위해, 전차와 전투기의 실제 이미지 데이터셋을 구축한 뒤 적은 수의 이미지만 학습에 사용했다. 또한, 대표적인 거대 사전학습 모델인 CLIP과의 성능을 비교해 프롬프트 러닝 기반 퓨샷 러닝의 유효성을 검증하였다. 실험 결과, 적은 데이터만 학습에 가용할 수 있는 환경에서 비교적으로 높은 정확도를 나타내는 것을 확인하였고, 이는 군사 분야에서 데이터 제약적인 상황을 극복할 수 있는 유망한 접근법이 될 수 있음을 시사한다.

1. 서론

사전학습된 대규모 VLM(Vision-Language Model) 또는 LLM(Large Language Model)의 다운스크림 테스트(Downstream task) 성능을 높여주는 프롬프트를 찾기 위해 최근에 프롬프트 러닝(Prompt-Learning) 분야가 연구되고 있다[1]. 프롬프트 러닝은 다운스트림 태스크에서 연속적인 형태의 소프트 프롬프트를 학습을 통해 최적화하는 것을 목적으로 한다. 프롬프트 러닝의 이러한 특징은 이산적인 형태의 프롬프트를 학습 과정 없이 찾는 프롬프트 엔지니어링과 구별된다.

프롬프트 러닝 기반에 기반한 여러 접근법 중에 자가-제약 프롬프트(Self-regulating Prompts) 알고리즘을 접목하여 사전학습된 모델의 일반화 성능을 높인 PromptSRC가 최근 제시되었다[2]. 본 연구는 이러한 PromptSRC의 제약 알고리즘이 데이터의 수가 제한적인 군사 이미지 데이터를 학습하는 데 활용할 수 있음을 실험을 통해 검증하고자 한다.

군사 이미지 분류에 관한 대부분의 선행 연구는 기존의 CNN 모델을 차용하거나 변형하여 단순하게 활용해 왔다[3,4]. 또한, 많은 선행 연구에서 헬리콥터, 비행기, 탱크 등과 같은 탈것 이미지를 인터넷에서 수집한 뒤, 10개 이하의 소수 클래스로 분류하는 데 초점을 맞췄다. 선행 연구에서 위와 같이 간단하게 실험환경을 설정한 이유는 군사 분야의 데이터셋 구축이 어렵고, 클래스가 세분화될수록 각 클래스 당 이미지 수가 부족해져 딥러닝 모델 학습이 어려워지기 때문으로 보인다. 본 저자가 아는 한, 군사 이미지 분류에서 프롬프트 러닝 기반 방법을 적용해 소수의 학습 데이터만으로 이미지 분류를 시도한 선행 연구는 존재하지 않는다. 따라서 본 연구에서 제안한 방법은 데이터 수집이 어려운 실제 군사 환경에 부합하는 새로운 접근법이 될 수 있다.

2. 관련 연구

2.1 전통적인 이미지 인식 모델

딥러닝의 등장은 이미지 분류 분야에서 급격한 발전을 이끌었다. 1998년, LeCun은 다층 인공신경망을 통해 손 글씨 데이터셋인 MNIST의 숫자 이미지 분류가 가능하다는 것을 보였다[5]. LeCun이 제안한 LeNet은 현재 가장 널리 쓰이는 모델 중 하나인 CNN(Convolutional neural network)의 원형이 되었다. 이후, 2010년대에 들어서 GPU를 통한 병렬 연산의 성능 향상, 역전파 학습과 대규모 데이터셋의 등장으로 인공신경망의 층을 더 깊게 쌓아 학습할 수 있게 되었고 이런 변화는 이미지 인식 분야에서 급격한 발전을 이룩했다. 이런 흐름에 따라 많은 후속 연구가 신경망을 더 깊게 쌓는 방향으로 진행되었으나, 특정 수준을 넘어서면 층이 깊어지더라도 성능 향상이 일어나지 않는 문제가 발생했다. 2016년 발표된 ResNet은 이런 문제를 해결하기 위해 심층 컨볼루션 신경망에 전차 연결(Residual connection)을 사용한 새로운 방법을 도입했다[6]. ResNet은 기존 컨볼루션 신경망의 층이 깊어질 때 정확도가 포화하거나 오히려 더 떨어지는 문제를 효과적으로 해결하여 이전보다 훨씬 깊은 컨볼루션 신경망의 시대를 열었다.

2020년 제안된 ViT는 이미지 인식 분야에 표준으로 사용되던 CNN 기반의 접근법이 아닌 트랜스포머(Transfomer) 기반 접근법을 제시하였다[7, 8]. ViT는 기존에 자연어 처리 분야에 혁신적인 변화를 이끌었던 트랜스포머를 이미지 인식 분야에 도입했다. ViT에서는 단어가 아닌 이미지를 잘라서 패치로 만들어 토큰화하여 트랜스포머의 핵심 중 하나인 자기주의(Self-Attention) 알고리즘을 통해 이미지를 학습하였다. ViT는 이미지 인식 분야의 주류를 이루고 있던 CNN의 기반 접근법을 대체하여 이미지 인식 분야의 패러다임을 변화시킬 가능성을 제시하였다.

2.2 이미지 인식 분야의 패러다임을 바꾼 VLM

앞서 언급했던 전통적인 이미지 인식 모델은 고정된 크기의 카테고리와 이산적인 레이블을 통해 모델을 학습했다. 이런 학습 방법은 근본적으로 모델 학습에 큰 제한을 만든다. 예를 들어 "맑은 날씨에 잔디에서 달리는 강아지" 사진이 있다고 가정하면, 전통적인 방식의 경우 모델은 이런 이미지를 단순하게 "강아지"로 예측한다. 따라서 이렇게 이산적이고 고정된 크기의 레이블을 사용하는 경우 학습 중 강아지를 제외한 다른 정보를 활용할 수 없다. CLIP[9]과 ALIGN[10]과 같이 최근 등장한 VLM은 이런 문제를 해결할 수 있는 새로운 학습 방법으로 떠올랐다. 일반적인 VLM은 고정된 크기의 이산적 레이블이 아닌 텍스트 전체(이미지 캡션 등)를 학습에 활용한다. 앞서 언급한 예시에서 “강아지”를 뜻하는 이산적인 숫자가 아니라 "맑은 날씨에 잔디에서 달리는 강아지"라는 텍스트 전체가 학습에 이용된다.

대조학습(contrastive learning)을 사용하는 VLM의 기본적인 사전학습 방법은 다음과 같다. 사전학습을 위해 이미지와 그에 상응하는 텍스트로 하나의 쌍을 이루는 대규모 데이터셋을 인터넷 크롤링 등의 방법을 통해 구축한다. 데이터셋이 구축되면, 이미지와 텍스트를 각각 처리하는 인코더를 만든다. 이후 각각의 인코더에서 나온 서로 다른 모달리티를 가진 텍스트 임베딩과 이미지 임베딩을 식 1의 대조손실(contrastive loss) 함수를 통해 하나의 공간으로 보내도록 학습시킨다. 식 1에서 sim(x_i, y_i)는 x_i과 y_i의 거리이고 τ는 하이퍼 파라미터다. 식 1의 대조손실 함수는 하나의 이미지에 대해 쌍을 이루는 텍스트는 특징 공간(feature space)에서 가까워지게 만들고 쌍이 아닌 텍스트의 경우는 멀어지도록 이미지 인코더를 학습시킨다. 텍스트 인코더 역시 텍스트에 대해 같은 방식으로 학습을 진행한다.

\(\begin{align}L=-\frac{1}{N} \sum_{N}^{i=1} \log \frac{\exp \left(\operatorname{sim}\left(x_{i}, y_{i}\right) / \tau\right)}{\sum_{N} \exp \left(\operatorname{sim}\left(x_{i}, y_{j}\right) / \tau\right)}\end{align}\)       (1)

다양한 텍스트와 이미지 쌍을 가진 대규모 데이터셋에서 위 방법으로 사전 학습된 VLM은 사전학습된 지식을 잘 활용하여 이미지 분류 등의 여러 다운스트림 태스크 단계에서 강력한 성능을 보였다. 또한, 특정 객체를 특정 레이블로 예측하도록 학습하지 않고 텍스트와 이미지 간의 유사도를 이용하여 학습했기 때문에 제로샷 러닝(Zero-shot Learning)을 구현할 수 있었다. 이 밖에도 텍스트 설명이 주어졌을때 그에 상응하는 정확한 이미지를 가져오거나 이미지에 대해 알맞은 텍스트를 생성하는 등의 작업을 수행할 수 있었다.

2.3 프롬프트 러닝

앞서 언급한 VLM은 열린 사전(Open-vocabulary) 이미지 인식, 객체 인식 등 다양한 다운스트림 태스크에서 우수한 성능을 보여 높은 일반화(Genernalization) 능력을 입증하였다. 프롬프트러닝은 이런 거대 VLM이 여러 다운스트림 태스크에서 더 높은 성능을 낼 수 있도록 도와주는 프롬프트를 학습하기 위한 방법으로 최근 연구되고 있다[11]. 예를 들어 CoOp[12]에서는 적은 수의 학습 가능한 프롬프트 벡터를 사전 학습된 VLM에 추가적으로 붙인 뒤에, VLM의 파라미터는 고정하고 다운스트림 태스크에서 프롬프트 벡터를 학습시킨다. 위 방법은 프롬프트 벡터가 특정 다운스트림 태스크에 대해 최적화될 수 있도록 만들었고, 이렇게 학습된 프롬프트는 VLM이 여러 다운스트림 태스크에서 높은 성능을 낼 수 있는 역할을 했다.

앞서 언급한 방식들은 특정 다운스트림 태스크에 과도하게 오버피팅되어, VLM의 일반화 능력을 일정 부분 상실하게 만드는 문제가 지적되었는데 PromptSRC는 자가-제약 프롬프트(Self-regulating Prompts)를 제안하여 이를 해결하고자 하였다. 자가-제약 프롬프트 방법이 적용된 PromptSRC는 거대 모델을 미세조정한 다운스트림 태스크와 미세조정하지 않은 다운스트림 태스크 모두에서 높은 성능을 보이면서 일반화 성능을 잃지 않는다는 것을 입증했다.

3. 방법

일반적으로 군사적으로 활용할 수 있는 이미지의 수는 제한적이다. 본 연구에서는 가용한 이미지의 수가 제한적인 군사 목적 이미지를 분류하기 위해 PromptSRC의 방법을 학습에 적용하고자 하였고, PromptSRC의 일반화 능력보다는 소수의 데이터를 여러번 반복 학습했을때 생기는 오버피팅을 문제를 해결하는데에 초점을 맞췄다.

PromptSRC에서 제안된 미세 조정 방법은 다음과 같다. (그림 1)과 같이 사전학습된 파라미터를 고정시키고, 시각 인코더와 텍스트 인코더의 트랜스포머의 모든 블록에 학습가능한 프롬프트를 추가적인 토큰으로써 넣는다. 이렇게 삽입된 각각의 시각과 텍스트 프롬프트는 다운스트림 태스크인 이미지 분류 태스크에서 최적화된다. PromptSRC는 VLM의 일반화 성능을 잃지 않으면서 프롬프트를 최적화하기 위해 "상호 합의 극대화, 자가-앙상블, 텍스트다양성 증대"라는 세가지 자가-제약 방법을 적용했다.

(그림 1) PromptSRC의 프레임워크

3.1 상호합의 극대화

상호합의 극대화(Mutual Agreement Maximization) 방법은 식 2로 표현되는 손실함수를 통해 구현된다. 식 2는 식 3, 4, 5 세 식을 항으로 하여 각각을 하이퍼 파라미터로 가중 합한 손실함수이다. 식 3은 프롬프팅이 적용되지 않은 이미지 인코더의 특징과 프롬프팅이 적용된 이미지 인코더의 특징 간의 거리이다. 식 4는 텍스트 인코더에 대해 식 3과 같은 방식을 적용한다. 식 5는 프롬프팅을 적용하지 않은 텍스트 인코더와 이미지 인코더에서 나온 특징의 유사도와 프로프팅이 적용된 인코더에서 나온 특징의 유사도 간의 쿨백-라이블러 발산(Kullback-Leibler Divergence)이다.

L_SCL = λ₁L_SCL-image + λ₂L_SCL-text + λ₃L_SCL-logits       (2)

\(\begin{align}L_{S C L-i m a g e}=\sum_{d}^{i=1}\left|\overline{f_{p}}-\bar{f}\right|\end{align}\)       (3)

\(\begin{align}L_{S C L-t e x t}=\sum_{d}^{i=1}\left|\overline{g_{p}}-\bar{g}\right|\end{align}\)       (4)

\(\begin{align}L_{S C L-\text { losits }}=D_{K L}\left(\operatorname{sim}\left(\overline{f_{p}}, \overline{g_{p}}\right), \operatorname{sim}(\bar{f}, \bar{g})\right)\end{align}\)       (5)

3.2 자가-앙상블

자가-앙상블(self-ensemble)은 모델 앙상블 방식으로 각 학습 에포크마다 가우시안 분포에서 샘플링된 가중치를 가중평균한 것을 최종 프롬프트로 사용한다. 이를 통해서 프롬프트 앙상블을 구현한다.

3.3 텍스트 다양성 증대

다운스트림 태스크로 이미지 분류를 학습하는 경우, 카테고리 당 이미지 숫자는 여러 개인 반면에 텍스트의 다양성은 부족하다. 이런 문제를 해결하기 위해 여러 개 텍스트 템플릿을 사용하여 텍스트를 어그멘테이션하여 다양성을 높였다.

4. 실험 및 결과

4.1 데이터셋

본 연구에서는 Kaggle의 오픈소스 데이터셋[13, 14]과 인터넷 크롤링을 통해 (그림 2)와 (그림 3)과 같은 전차와 전투기의 실제 이미지 데이터셋을 구축했다. Kaggle의 오픈소스 데이터셋 중 육안으로 분류하기 힘든 이미지를 삭제 후 인터넷에서 크롤링한 데이터를 추가적으로 넣는 방식을 통해 데이터셋을 구축했다. 전차 이미지 데이터셋은 150개 클래스로 분류된 총 1,000장의 샘플로 구성되며, 클래스 당 이미지는 6.7장이다. 150개의 클래스 중 5개 이하의 샘플을 가진 클래스는 48개이다. 전투기 이미지 데이터셋의 경우 50개 클래스로 분류된 20,000장의 전투기 이미지로 구성된다.

(그림 2) 전차 데이터셋 예시 이미지

(그림 3) 전투기 데이터셋 예시 이미지

4.2 실험 환경 설정 및 결과

CLIP을 백본 모델로 사용하여, CLIP에 PromptSRC 적용한 것과 그렇지 않은 것을 비교해 성능을 측정했다. PromptSRC의 프롬프트 토큰 수는 8개로 고정했다. 실제 군사 환경이 군사 이미지륻 얻기 힘든 상황임을 고려하여 퓨샷러닝 과정에서 학습할 수 있는 클래스 당 이미지의 수는 전차와 전투기 이미지 분류에서 각각 1장과 8장으로 설정했다. 퓨샷러닝 과정에서 학습하는 이미지를 제외한 모든 이미지는 테스트셋으로 하였고, 이미지 분류를 학습한 뒤 평가했다.

<표 1>은 PromptSRC과 CLIP를 적용하여 비교 분석한 실험결과를 보여주고 있다. 전차 이미지 분류의 경우 PromptSRC를 적용한 방법이 정확도가 12.3%이고, CLIP를 적용한 방법의 정확도는 0.7%였고, 전투기 이미지 분류의 경우 각각 41.7%와 26.9%였다. 이와 같이 PromptSRC를 이용한 방법은 같은 모델 아키텍처를 사용하는 CLIP보다 훨씬 뛰어난 성능을 나타냈다. 위 결과는 PromptSRC가 사전 학습된 거대 모델의 일반화(Genernalization) 성능을 잃지 않기 위해 고안한 자가-제약 프롬프트(Self-regulating Prompts) 방법이 적은 수의 데이터로 거대 모델을 학습했을 때 발생하는 문제인 오버피팅 문제를 효과적으로 완화했기 때문으로 보인다.

<표 1> 전차와 전투기 이미지 분류 실험결과

5. 결론

본 연구에서는 프롬프트 러닝(prompt learning) 기반 방법을 활용한 퓨샷러닝(Few-shot Learning)을 통해 극단적으로 제한된 수의 데이터만 가용할 수 있는 상황에서 거대 딥러닝 모델을 학습할 수 있는지 검증했다. 본 연구의 공헌점은 다음과 같다. 1. 실제 전투기와 탱크 이미지 데이터셋을 자체적으로 구축하여, 제안된 방법의 성능을 검증하였다. 2. 제한된 수의 군사 이미지만을 사용하여 딥러닝 모델을 효율적으로 학습하는 방법을 탐색 후 검증했다. 이는 군사 분야에서 데이터 제약 상황을 극복할 수 있는 유망한 대안이 될 수 있음을 나타낸다.