A Study on Network Intrusion Detection System Based on the Fusion of SAGEConv-GNN and Transformer Encoder

SAGEConv-GNN과 Transformer Encoder 융합 기반 침입 탐지 시스템 연구

Abstract

With recent advances in AI, overcoming the limits of traditional NIDS has become crucial: signature-based or single deep learning models struggle with novel/zero-day attacks and fail to capture structural relations among flows. We propose a hybrid NIDS combining SAGEConv-GNN (local structure) and a Transformer Encoder (global context/long-range dependencies), integrated via Gated Fusion, with positional encoding, early stopping, label smoothing, and class weighting for stable training. On UNSW-NB15 (~50k flows), our model outperforms GCN, GAT, GraphSAGE, and Transformer baselines, achieving 99.70% Accuracy, 96.44% Precision, 99.08% Recall, and 97.2% F1. This demonstrates strong detection performance and low false positives in imbalanced settings, underscoring the practicality of AI-based hybrid NIDS.

최근 인공지능(AI) 기술의 발전으로 기존 침입 탐지 시스템(NIDS)의 한계를 극복하기 위한 연구가 활발히 이루어지고 있다. 기존 서명 기반 또는 단일 딥러닝 모델은 새로운 공격 유형이나 제로데이 공격 탐지에 취약하며 네트워크 플로우 간 구조적 관계를 충분히 반영하지 못한다. 이에 본 연구는 SAGEConv-GNN과 Transformer Encoder를 결합한 하이브리드 NIDS를 제안한다. GNN은 국부 구조 정보를, Transformer는 장기 의존성과 전역 문맥을 학습하며 Gated Fusion으로 이를 통합한다. 또한 positional encoding, Early Stopping, label smoothing, class weight 등을 적용해 학습 안정성을 확보하였다. UNSW-NB15 (약 50,000 flows) 실험 결과 본 모델은 GCN, GAT, GraphSAGE, Transformer보다 우수했으며 Accuracy 99.70%, Precision 96.44%, Recall 99.08%, F1-score 97.2%를 달성했다. 이는 불균형 데이터 환경에서도 높은 탐지 성능과 낮은 오탐지율을 유지함을 보이며 AI 기반 하이브리드 NIDS의 실용 가능성을 제시한다.

1. 서론

현대 네트워크 환경은 IoT, 5G, 클라우드, ICS의 확산으로 인해 공격 표면과 취약점이 지속적으로 확대되고 있다. 기존 서명 기반 NIDS는 알려진 공격에는 효과적이지만 새로운·제로데이 공격에는 취약하며, 이상 탐지 기반 방식은 미지의 공격 탐지에는 유리하나 높은 오탐률이라는 한계를 가진다. 이러한 한계를 보완하기 위해, 최근에는 트래픽의 구조적 관계를 학습하는 GraphSAGE 기반 GNN형 침입 탐지 기법[1][4]과 플로우 시퀀스의 전역 문맥과 시간적 의존성을 모델링하는 Transformer 기반 침입 탐지 기법[2][5]이 제안되고 있다. 본 연구는 두 접근을 결합하여 SAGEConv 기반 GNN과 Transformer Encoder를 통합하고, Gated Fusion으로 두 표현을 융합한 하이브리드 NIDS 아키텍처를 제안한다. 제안 모델은 공개 데이터셋 UNSW-NB15 [3]를 기반으로 구현·평가되며, GCN, GAT, GraphSAGE, Transformer 단일 모델과의 비교 실험을 통해 정확도, 재현율, F1-score 측면에서의 우수성을 검증한다[6].

2. 관련 이론 및 선행 연구

2.1 네트워크 침입 탐지 시스템(NIDS) 개요

NIDS는 네트워크 트래픽을 실시간 모니터링해 악성 행위와 보안 위반을 탐지·경보하는 시스템으로, 전략적 지점에서 인바운드·아웃바운드 트래픽을 분석하고 의심 트래픽을 수집해 보안 관제에 전달한다. 탐지방식은 서명 기반과 이상 징후 기반으로 나뉘며, 전자는 알려진 공격에는 강하지만 제로데이 공격에는 취약하고, 후자는 미지 공격 탐지에는 유리하나 오탐률이 높다. 이에 두 방식을 결합한 지능형 하이브리드 탐지 구조가 제안되고 있다[6].

2.2 GNN과 Transformer 기반 분석 및 결합 필요성

(그림 1)은 GNN의 핵심인 메시지 패싱 과정을 나타낸다. GNN은 그래프에서 이웃 노드 정보를 집계·갱신해 노드·간선 표현을 학습하며, 트래픽 플로우 간 상호작용과 같은 복잡한 구조적 패턴을 모델링할 수 있다[4]. GCN, GAT, GraphSAGE 등은 합성곱, 어텐션, 이웃 샘플링 기반 집계를 통해 대규모 그래프에서도 효율적으로 학습하도록 설계되었지만, GNN은 계층이 깊어질수록 과평활화와 확장성 한계가 존재한다.

(그림 1) GNN에서의 메시지 패싱 메커니즘

(그림 2)와 같이 트랜스포머(Transformer)는 자기 어텐션과 멀티헤드 어텐션을 통해 시퀀스 전체의 전역 문맥과 장기 의존성을 병렬적으로 학습하며, 위치 인코딩을 통해 순서 정보를 반영하는 구조를 갖는다[5]. Transformer Encoder는 이러한 메커니즘을 통해 트래픽의 시간적 변화 양상과 전역적 행위 패턴을 효과적으로 포착할 수 있다. 그러나 플로우 간의 관계성이나 IP·포트 수준의 구조적 상호작용을 직접적으로 모델링하는 데에는 한계가 있다.

(그림 2) 트랜스포머 아키텍처

2.3 융합 기반 탐지 모델의 연구 동향 및 본 연구의 차별성

최근 NIDS 연구는 단일 구조에서 벗어나 GNN+Transformer, CNN+RNN/Attention, ML+DL 기반 특징 선택, 경량 딥러닝 등 하이브리드 방향으로 발전하고 있으며, 이는 서로 다른 모델의 강점을 결합해 탐지 정확도와 일반화 성능을 높이려는 흐름이다[6][7][8][9][10][11][12]. 예를 들어 GNN·Transformer 결합 모델은 트래픽을 그래프로 표현해 노드 간 관계를 학습하고, Transformer 기반 인코딩과 대조 학습으로 복잡한 공격 패턴까지 구분하며 클라우드 환경에서도 높은 탐지 성능과 확장 가능성을 보인다[6]. LSTM-AE나 CNN–RNN/Attention 계열은 시계열·행위 패턴을 직접 학습해 높은 정확도를 보고했지만 희귀 공격 재현율과 학습 비용에 한계가 있다[7][8]. ML+DL 융합 방식은 SMOTE, XGBoost, Extra Trees 등으로 핵심 특징을 선별해 효율성과 정확도를 동시에 끌어올렸고, 일부 벤치마크에서는 99% 이상, 최대 100% 수준까지 보고되었다[9][10][11]. 또한 자원 제약 환경을 겨냥한 경량 딥러닝 IDS는 팽창 합성곱 기반 1D-DCNN을 통해 약 99.7~99.98%의 정확도를 달성하여 엣지/IoT 유사 환경에서도 적용 가능성을 보였다[12].

그러나 많은 연구는 여전히 KDD Cup 99, NSL-KDD, CIC-IDS2017 등 제한적·구식 데이터셋에 의존해 최신 공격 양상을 충분히 반영하지 못하며[7][9][11], 시계열 기반 모델은 IP·포트·플로우 간 구조적 관계 표현에 약하고[7][8], GNN 기반 모델은 복잡성과 실시간 확장성 부담이 있다[6]. 이에 본 연구는 SAGEConv 기반 GNN으로 플로우 간 국소 구조를 학습하고, Transformer Encoder로 전역 시계열 문맥을 학습하며, Gated Fusion으로 두 표현을 결합한 하이브리드 NIDS를 제안한다. 제안 모델은 UNSW-NB15 기반 평가에서 GCN·GAT·GraphSAGE·Transformer 단일 모델 대비 정확도, 재현율, F1-score에서 우수함을 보였다.

3. 데이터 및 모델 설계

3.1 데이터셋 및 그래프 구성

본 연구는 실제 트래픽과 다양한 공격 유형을 포함한 UNSW-NB15(약 200만 플로우, 49개 특징)를 사용하였다. 불필요한 속성은 제거하고, 범주형 특징은 수치화하고, 연속형 특징은 정규화하였다. 플로우들은 동일 Source IP 내에서 k-최근접 이웃(K=6)과 시간 순서로 연결해 그래프로 변환했으며, 노드는 플로우, 에지는 IP·시간적 연속성을 나타낸다. 입력 임베딩은 위치 인코딩, 주기 인코딩, 노드 차수 인코딩을 결합해 트래픽의 통계·구조 정보를 함께 담도록 하였다. 또한 srcip 기준으로 train/val/test를 분할하고 클래스 불균형을 보정하기 위해 클래스 가중치를 적용하였다.

3.2 하이브리드 모델 구조

제안 모델(그림 3)은 SAGEConv-GNN과 Transformer Encoder를 결합한 하이브리드 NIDS이다. GraphSAGE(3계층)는 잔차 연결과 배치 정규화를 통해 플로우 간 국소 구조 정보를 추출하고, Transformer Encoder는 해당 임베딩을 입력으로 받아 멀티헤드 자기 어텐션과 위치 인코딩을 통해 전역 문맥과 장기 의존성을 학습한다. 마지막으로 두 경로의 출력을 Gated Fusion으로 통합하고, 완전연결층과 Softmax로 공격 여부를 분류한다.

(그림 3) 제안하는 SAGEConv-GNN + Transformer Encoder 기반 Hybrid NIDS 모델 구조

4. 실험 및 결과 분석

4.1 실험 환경 및 학습 설정

UNSW-NB15에서 추출한 5만 개 플로우를 사용하여, 소스 IP 기준으로 데이터 누수를 차단한 뒤 k-최근접 이웃(k=6)과 시간 순서를 이용해 그래프를 구성했다. 모델은 AdamW와 OneCycleLR로 학습했고, 클래스 가중치·라벨 스무딩을 적용한 교차 엔트로피 손실, 그래디언트 클리핑, dropout 0.2를 사용했다. 학습은 PyG NeighborLoader 기반 미니배치, GPU 환경에서는 AMP를 활성화했다. 모든 비교 모델은 동일한 조건(학습률 2e-4, weight decay 5e-4, 배치 크기 1024, 최대 100 epoch)과 조기 종료 전략으로 학습했다.

4.2 성능 평가 및 혼동 행렬 분석

HybridSAGETransformerGlobal은 테스트에서 높은 성능을 보였다. 혼동 행렬 결과 True Negative 18,355, True Positive 618, False Positive 47, False Negative 10으로 오탐과 미탐이 매우 낮았다.

(그림 4) HybridSAGETransformerGlobal의 혼동 행렬

정확도 추이(그림 5)는 학습·검증 모두 초기 에포크 이후 99% 이상으로 수렴하고 안정적으로 유지되었다.

(그림 5) UNSW-NB15 데이터셋에서의 학습 및 검증 정확도

클래스별 성능을 보면, 정상 트래픽(클래스 0)은 정밀도·재현율·F1-score 모두 1.00으로 완벽했다. 공격 트래픽(클래스 1)은 정밀도 약 0.93, 재현율 0.98, F1-score 0.96으로 높은 탐지율을 유지하면서 오탐도 크게 억제했다(그림 6). 이는 공격을 거의 놓치지 않는다는 의미다.

(그림 6) 클래스별 정밀도, 재현율 및 F1-score

ROC 곡선은 좌상단에 근접하며 AUC는 0.9901로 나타나, 정상/공격 트래픽을 매우 잘 구분하고 다양한 임계값에서도 안정적인 분류 성능을 보임을 확인할 수 있다(그림 7).

(그림 7) HybridSAGETransformerGlobal의 ROC 곡선

4.3 기존 모델과의 성능 비교

GCN과 GAT는 각각 정확도 46.0%, 56.2%로 낮았고 F1-score도 0.36, 0.42 수준에 그쳤다. 반면 GraphSAGE와 TransformerEncoderOnly는 정확도 99.3% 이상, F1-score 약 0.95로 높은 성능을 보였다.

<표 1>에서 제안된 HybridSAGETransformerGlobal은 정확도 99.7%, F1-score 0.977로 가장 우수했으며, 정밀도 0.964와 재현율 0.991 모두 높아 희귀 공격 탐지에서도 안정적인 성능을 유지했다. 이는 GraphSAGE와 Transformer를 Gated Fusion으로 결합한 하이브리드 구조가 개별 모델보다 전반적으로 더 뛰어남을 보여준다.

<표 1> 기존 모델과 HybridSAGETransformerGlobal의 성능 비교

5. 결론 및 향후 연구

본 논문은 GraphSAGE 기반 GNN과 Transformer Encoder를 결합하고 게이트드 융합으로 두 표현을 통합한 하이브리드 NIDS를 제안하였다. GNN은 플로우 간 구조적 관계를, Transformer는 전역 문맥과 장기 의존성을 학습하도록 설계하였다. UNSW-NB15(5만 플로우) 기반 그래프 데이터로 학습한 결과, 제안 모델은 정확도 0.9970, 정밀도 0.9644, 재현율 0.9908, F1-score 0.9772를 달성했으며 FP 47, FN 10으로 오탐·미탐이 매우 낮았다. 이는 GCN, GAT, GraphSAGE, Transformer 단일 모델보다 우수한 성능으로 하이브리드 구조의 효과를 입증한다.

향후 연구는 최신 IoT·클라우드 트래픽에 대한 검증, 실시간 적용을 위한 경량화·양자화, 그리고 설명 가능한 AI 통합에 초점을 둘 예정이다.