1. 서론
5세대(5G) 특화망 및 6세대(6G)를 포함한 차세대 이동통신에서는 네트워크의 유연성과 효율성을 극대화하기 위한 목적으로 Open-RAN(O-RAN) 아키텍처가 빠르게 확산되고 있다. O-RAN은 벤더 종속적인 하드웨어 중심의 기존 RAN과 달리, 모듈화 및 표준화된 인터페이스를 통해 이기종 벤더 간 상호운용성을 보장하고, 지능형 서비스를 실현할 수 있는 기반을 제공한다. 특히 O-RAN은 네트워크 기능을 분산화하고 이를 통해 유연하고 지능적인 네트워크 구성 및 Artificial Intelligence/Machine Learning(AI/ML) 기반 자동화를 지원한다[1][2]. 이러한 특성은 네트워크 비용 절감, AI/ML 기반의 지능형 네트워크 운영을 가능하게 한다는 점에서 세계 주요 통신사 및 표준화 기구의 관심을 끌고 있다[3].
특히 O-RAN Alliance는 O-RAN 아키텍처와 인터페이스를 정의하고 다수의 산업계 및 학계 파트너들과 함께 O-RAN 생태계 발전을 주도하고 있다. 또한 3GPP와 같은 이동통신 국제 표준화 기구는 6G 요구 사항 및 네트워크 기능 진화를 정의하는 과정에서 O-RAN과의 연계성을 강화할 뿐 아니라, 각국 정부 및 산업계는 O-RAN을 차세대 통신 인프라의 중요한 축으로 인식하고 있다[4].
그러나 이러한 분산화와 자동화는 동시에 새로운 보안 위협을 내포한다. 특히, 전통적인 RAN은 단일 벤더에 의해 통합적으로 관리되는 폐쇄형 구조였기 때문에, 외부 공격자가 침투하기 어려운 보안 경계가 뚜렷했다[5]. 반면, O-RAN은 다양한 벤더 장비의 상호 연동, 가상화된 소프트웨어, 3rd Party 애플리케이션(xApp, rApp)의 도입으로 인해 공격 표면이 크게 확대되었다[6][7]. 이에 따라, Denial of Service(DoS), 데이터 유출, 펌웨어 변조, 내부자 공격 등 기존보다 복합적이고 정교한 위협이 발생할 가능성이 커지고 있다.
최근 연구들은 이러한 문제를 해결하기 위해 보안 매커니즘을 제안하고 있다. 대표적인 예로, 특정 인터페이스(E2, A1 등)에 대한 암호화와 인증 기법[8], AI 기반 이상 탐지 모델[9], 정책 기반 접근 제어[10] 등이 논의되고 있다. 또한 제로 트러스트 아키텍처(Zero Trust Architecture, ZTA) 개념을 O-RAN에 적용하려는 시도도 제시되고 있다[11][12]. ZTA는 “절대 신뢰하지 말고 항상 검증하라”는 원칙 하에, 네트워크 내부와 외부를 구분하지 않고 지속적인 검증과 최소 권한 접근을 요구한다.
그럼에도 불구하고, 현재까지의 연구는 부분적인 접근에 머물러 있으며, 통합적인 관점에서 O-RAN의 보안 위협을 종합적으로 분석하고 이를 대응할 수 있는 통합적 프레임워크 제안은 부족하다[7][13]. 이런 기술적 공백을 해결하기 위해, 본 논문은 다음과 같은 사항들을 제시하였다. 첫째, O-RAN 보안 위협을 제어 평면, 데이터 평면, 하드웨어/펌웨어, 3가지 영역으로 분류하였다. 둘째, O-RAN 보안 위협에 대응할 수 있는 다계층 보안 프레임워크를 제안함으로서 단편적인 접근의 한계를 극복하고자 하였다.
본 논문의 2장에서는 관련 기술의 연구 동향을 살펴보고 3장에서는 O-RAN 보안 위협 분석과 본 논문에서 제안하는 보안 프레임워크 설계 내용을 기술한다. 4장에서는 O-RAN 보안 프레임워크에 대한 검증 결과를 기술하고, 마지막으로 5장은 결론으로 구성하였다.
2. 관련 연구
2.1 O-RAN 아키텍처
전통적인 RAN은 기지국의 모든 기능이 단일 벤더 장비에 통합되어 제공되었기 때문에 상호운용성이 부족하고, 특정 벤더에 대한 종속성이 강했다. 반면 O-RAN은 네트워크 기능을 O-CU(Centralized Unit), O-DU(Distributed Unit), O-RU(Radio Unit)로 분리하고, 이를 소프트웨어 정의 네트워크 및 가상화된 환경에서 구현됨으로써 다중 벤더 간의 상호운용성을 보장한다[14][15].
(그림 1)은 O-RAN 아키텍처 구성도를 보여준다. O-CU는 주로 제어 평면 기능과 데이터 평면 일부 기능을 담당하며, 고성능 서버 환경에서 소프트웨어 형태로 구현될 수 있다. O-DU는 사용자 단말과 가까운 환경에서 RLC, MAC, High-PHY 계층을 처리하고, 저지연 통신을 가능하게 한다. O-RU는 무선 신호를 직접 송수신하는 장치로 Low-PHY과 RF 처리를 담당한다. 이러한 구성 요소의 분리는 네트워크 자원의 유연한 배치와 효율적 운영을 가능하게 한다.
(그림 1) O-RAN 아키텍처 구성도
O-RAN은 또한 RAN Intelligent Controller(RIC)라는 새로운 구성요소를 도입하였다. RIC는 Near-Real-Time(RT) RIC와 Non-RT RIC로 구분되며 네트워크 지능화와 자동화를 담당한다. Near-RT RIC는 E2 인터페이스를 통해 O-CU 및 O-DU와 상호작용하면서 실시간 최적화를 수행하며, 다양한 벤더가 개발한 xApp이 실행되어 네트워크 정책을 동적으로 제어한다. Non-RT RIC는 장기적 정책 관리, 빅데이터 분석, 머신러닝 모델 학습 및 배포를 담당하며, Service Management and Orchestration(SMO)과 연동되어 운영 효율성을 극대화 한다[16][19].
이러한 아키텍처는 표준화된 인터페이스에 의해 뒷받침된다. 대표적으로 E2(Near-RT RIC와 O-CU/O-DU 간 제어), A1(Non-RT RIC와 Near-RT RIC 간 정책 전달), O1(SMO와 O-RAN 구성요소 간 관리), E1과 F1(CU 및 DU간 데이터 전송) 인터페이스가 정의되어 있다. 이러한 인터페이스들은 개방성과 상호운용성을 제공함으로서 O-RAN 아키텍처의 장점을 극대화한다. 하지만, 반대로 인터페이스들의 이러한 특징들이 표준 프로토콜의 취약점이나 인증 부재시 공격자의 진입점으로 악용될 가능성도 있다[17][18][22].
O-RAN의 표준화 측면에서는 앞서 언급했던 O-RAN Alliance와 3GPP 국제 표준화 기구가 있다. O-RAN Alliance는 2018년 설립된 이후 Open, Intelligent, Virtualized, Fully interoperable 네트워크 구축을 목표로 두고 O-RAN 아키텍처와 인터페이스 정의를 주도하고 있다[4][19]. 3GPP는 5G-Advanced 및 6G 기술 요구사항을 정의하는 과정에서 O-RAN 과의 연계를 강화하고 있으며[20], 미국 NTIA, 일본 MIC, 한국 ORIA 등 각국 협회들도 O-RAN 보안 및 상용화를 위한 정책적 지원을 확대하고 있다[18][21].
2.2 기존 연구 및 한계점
O-RAN 보안은 최근 학계와 산업계에서 활발히 논의되고 있으며, 다양한 접근 방식이 제안되고 있다. 하지만 대부분의 연구가 특정 위협이나 부분적 영역에 국한되어 있어, 통합적인 보안 프레임워크 제안은 여전히 부족하다. 기존 연구를 살펴보면 크게 인터페이스 보안 강화, AI/ML 기반 이상 탐지, 그리고 ZTA 적용이라는 3가지 카테고리로 구분할 수 있다.
첫째, 인터페이스 보안 강화 연구는 O-RAN의 개방형 구조에서 가장 먼저 고려되는 주제이다. O-RAN에서 정의한 주요 인터페이스(E2, A1, O1 등)는 벤더 간 호환성을 제공하지만, 동시에 인증 절차가 미비하거나 프로토콜 취약점이 존재한다면 공격자가 침입할 수 있는 경로를 제공한다. 일부 연구에서는 E2 인터페이스에 대한 전송 계층 암호화 및 상호 인증 기법을 제안하였다. Kim et al.은 O-CU와 RIC간 데이터 교환 과정에서 전송 무결성을 확보하고, 인증된 Entity만 접근할 수 있도록 하는 보안 프로토콜을 설계하였다[8]. 그러나 이러한 방식은 O-RAN 아키텍처 내 특정 E2 인터페이스에만 초점을 맞추고 있어, 다른 영역의 공격에는 대응하기 어렵다는 한계가 있다.
둘째, AI/ML 기반 이상 탐지 연구도 활발히 진행되고 있다. O-RAN 은 소프트웨어 정의 네트워크 특성상 다양한 운영 로그와 트래픽 데이터를 수집할 수 있으며, 이를 활용해 비정상 행위를 탐지하는 연구가 발표되었다. Li et al.은 머신러닝 기반 이상 탐지 모델을 적용하여, 정상 트래픽과 공격 트래픽을 구분하고, DoS 및 데이터 유출 시나리오를 탐지율 약 91%로 탐지할 수 있음을 보였다[9]. 또한, Zhang et al.은 연합학습을 기반으로 분산된 O-RAN 노드에서 데이터 프라이버시를 보장하면서 탐지 모델을 학습하는 방법을 제시하기도 했다[23]. 그러나 이러한 방법 역시 데이터 품질이나 학습 모델의 일반화 성능에 의존한다는 점에서, 완전한 방어체계로 보기는 어렵다.
셋째, O-RAN에 대한 ZTA 적용에 대하여 많은 논의가 되고 있다. Ramezanpour와 Jahannath는 ZTA 개념을 5G와 6G 네트워크에 적용하는 방안을 제안하면서, 전통적인 경계 기반 보안 모델보다 분산형 네트워크 환경에서 더 적합하다는 것을 강조하였다[12]. 또한 Chen et al.은 6G 보안을 위한 ZTA 프레임워크를 설계하여, 클라우드 네이티브 기반 네트워크 환경에서 ZTA가 가져올 수 있는 유연성과 확장성을 제시하였다. 하지만 대부분의 ZTA 연구는 개념적 제안에 머무르고 있으며, 구체적으로 O-RAN 위협 시나리오와 매핑된 사례는 부족하다.
이처럼 기존 연구들은 O-RAN 보안을 위한 다양한 시도를 보여주고 있지만, 3가지 한계점이 존재한다. 첫째, O-RAN의 특정 인터페이스 또는 계층에 국한된 방어 기법만으로는 통합된 아키텍처 수준의 보안 위협에 대응하지 못한다. 둘째, 제안된 보안 기법들이 상호 연계되지 않아, 실제 환경에서 발생할 수 있는 복합적이고 연쇄적인 공격에 대응하기 어렵다. 셋째, 효과적인 ZTA 기반 접근 방안이 부재하며, O-RAN의 구체적인 위협 모델에 적용된 연구는 아직 미흡하다.
따라서 본 논문은 기존 연구의 한계를 극복하기 위해 O-RAN 보안 위협을 제어 평면, 데이터 평면, 하드웨어/펌웨어 영역으로 체계적으로 분류하고, 이에 대응할 수 있는 다계층 보안 프레임워크를 제안한다. 제안하는 프레임워크는 기존의 단편적 접근이 아닌, O-RAN의 통합적인 보안 강화 방안이다.
3. O-RAN 보안 위협 분석 및 보안 프레임워크 설계
3.1 O-RAN 보안 위협
O-RAN은 개방성과 가상화 특성을 기반으로 한 분산형 아키텍처이기 때문에 기존 폐쇄형 RAN보다 훨씬 넓은 공격 표면을 갖는다. 특히, 다중 벤더 환경과 3rd Party 애플리케이션(xApp, rApp)의 도입, 그리고 개방형 인터페이스는 공격자가 침투할 수 있는 다양한 경로를 제공한다. 따라서 O-RAN 보안 위협을 제어 평면, 데이터 평면, 하드웨어/펌웨어 영역으로 구분할 필요가 있다. 본 장에서는 상기 3개 영역으로 구분하여 총 5가지 주요 O-RAN 보안 위협에 대해 분석한다.
3.1.1 제어 평면 보안 위협
(그림 2)는 악성 xApp에 의해 RIC 장애 유발이 가능한 시나리오를 보여준다. Near-RT RIC는 네트워크 최적화와 실시간 제어를 담당하는 핵심 구성요소이며, 이 안에서 동작하는 xApp은 정책 실행과 제어 명령을 전달한다. 그러나 악성 xApp이 비정상적인 패킷이나 허위 정보를 주입할 경우, 메시지 라우터나 E2 인터페이스가 마비되어 RIC 전체가 중단될 수 있다[24]. Trend Micro에 의하면 이러한 공격은 네트워크 제어 명령을 교란할 수 있으며 O-RAN 전체 네트워크의 안정성을 저해할 수 있다[25]. 또한, 접근 제어가 미흡할 경우 xApp이 비인가된 명령을 전송하여 서비스 거부(DoS) 상태를 유발할 수 있다[26].
(그림 2) 악성 xApp에 의한 RIC 장애 유발
(그림 3)은 악성 UE에 의해 기지국 제어 메시지를 전송하여 기지국 오류를 유발시킬 수 있는 시나리오를 보여준다. 단말이 변조된 제어 메시지를 O-DU나 O-CU로 전송할 경우, 자원 할당 오류나 세션 강제 종료가 발생할 수 있으며, 이는 O-RAN 네트워크의 스케줄링과 안전성을 교란한다. Polese et al. 에 따르면 O-RAN에서 제어 평면 메시지가 개방적 구조를 통해 전달되는 과정에서 이러한 공격이 더 심각해질 수 있다[27].
(그림 3) 악성 UE에 의한 제어 메시지 공격
3.1.2 데이터 평면 보안 위협
(그림 4)는 악성 O-CU를 통한 서비스 거부(DoS) 공격에 대한 시나리오이다. O-CU는 데이터 평면과 제어 평면 일부를 처리하는 핵심 노드로, 만약 공격자가 O-CU를 장악하거나 악성 인스턴스를 배치한다면 Near-RT RIC로 대규모 트래픽을 전송하여 제어기능을 마비시킬 수 있다[28]. O-CU가 내부 공격 지점으로 활용될 경우, RIC의 제어 명령이 교란되고 전체 네트워크 성능이 급격히 저하될 수 있다.
(그림 4) 악성 O-CU를 통한 서비스 거부(DoS) 공격
(그림 5)는 악성 O-CU를 통한 데이터 유출에 대한 시나리오이다. 악성 O-CU가 사용자 데이터를 수집한 뒤 Data Network(DN)으로 유출하는 경우, 이는 사용자 개인 정보 침해에 이어 국가 기반 인프라 보안 위협으로 이어질 수 있다[29]. 특히, 데이터 평면에서 발생하는 내부 컴포넌트 기반 위협은 탐지하기 어렵고, 기존 보안 기법으로는 대응이 제한적이다.
(그림 5) 악성 O-CU를 통한 데이터 유출
3.1.3 하드웨어/펌웨어 보안 위협
(그림 6)은 대만 전자제품 생산 기업인 Foxconn에서 생산하는 O-RU의 장비 스펙이다[30]. O-RU 장비 스펙에서 하드웨어/펌웨어 탈취를 위한 기본적인 정보를 확인할 수 있다. O-RU는 물리적 신호 처리를 담당하고 있어 공격자가 장비에 직접 접근할 수 있다면 PCB 분석, UART, JTAG 인터페이스를 통해 펌웨어 및 민감 데이터를 추출할 수 있다[31]. 이러한 공격은 단순한 정보 탈취를 넘어, 펌웨어 변조나 백도어 삽입으로도 이어질 수 있다는 점에서 매우 위험하다. 미국 NTIA 보고서와 O-RAN Alliance의 STRIDE 기반 위협 분석 보고서에서도 펌웨어 보안 취약성은 O-RAN의 중요한 보안리스크 중 하나로 지적되고 있다.
(그림 6) O-RU Specification
3.2 O-RAN 보안 프레임워크 요구사항
앞서 살펴본 바와 같이 O-RAN 은 제어평면, 데이터 평면, 하드웨어/펌웨어 영역에서 다양한 보안 위협에 직면해 있다. 기존 연구들은 개별 인터페이스 암호화[8], AI 기반 이상 탐지[9], 접근 제어[10] 등 부분적인 대안들을 제시했지만 이러한 방법들은 단편적인 대응에 불과하다. 따라서 O-RAN 보안 위협에 체계적으로 대응할 수 있는 통합적인 보안 프레임워크가 필요하다.
본 장에서 제시하는 O-RAN 보안 프레임워크는 단순히 특정 컴포넌트의 침입을 탐지하는 데 그치지 않고, O-RAN 전 구성요소에서 생성되는 다양한 로그와 보안 이벤트를 통합 수집하고, 이를 기반으로 다단계 분석, 머신러닝 기반 이상 탐지, 정책 자동 피드백까지 연계하는 종단 간(End-to-End)구조를 갖는다. 특히, O-RAN 보안 위협에 대한 보안 프레임워크의 요구사항을 정리하면 <표 1>과 같다.
<표 1> O-RAN 보안 위협에 대한 대응 요구사항
3.3 O-RAN 보안 프레임워크 설계
(그림 7)은 본 연구에서 제안하는 O-RAN 보안 프레임워크의 계층 구성도를 보여준다. 이에 따라, O-RAN 보안 프레임워크는 다음 4개의 계층으로 구성된다:
(그림 7) O-RAN 보안 프레임워크 구조
1) 텔레메트리 수집 계층
2) 전처리 및 정규화 계층
3) 이상 탐지 계층
4) 정책 피드백 및 제어 계층
각 계층은 논리적으로 구분되며, 상호 독립적으로 배포하거나 통합 구성이 가능하다.
3.3.1 O-RAN 텔레메트리 수집 계층
가장 먼저, O-RAN 네트워크 곳곳에서 발생하는 다양한 로그와 상태 정보를 수집해야 한다. 예를 들어, 사용자가 어떤 장비에 접속했는지, xApp이 어떤 명령을 내렸는지, 가상 서버(VM)에서 무슨 일이 일어났는지 등의 정보가 필요하다. 이 정보는 텔레메트리 수집 계층에서 로그 형태로 수집되며, 이를 통해 프레임워크의 내부 모듈로 전달된다.
이 계층은 보안 프레임워크의 입력 인터페이스이며, O-RAN의 모든 주요 구성 요소로부터 보안 관련 로그 및 운영 지표를 실시간으로 수집한다. 따라서 수집하는 대상 컴포넌트 및 항목은 다음을 포함한다:
∙ SMO : 사용자 인증 로그, 정책 변경 로그, A1 인터페이스 사용 이력
∙ Near-RT RIC : xApp 간 메시지 호출 이력, KPI 데이터, Slice 정책 적용 결과
∙ xApp/rApp : AI 모델 예측 결과, 리소스 제어 요청 이력, 이상 출력 결과 등
∙ O-Cloud : VM/컨테이너 간 연결 시도, 사용자 세션 로그, 계정 변경 로그
3.3.2 전처리 및 정규화 계층
O-RAN에서 수집된 데이터는 다양한 형식으로 되어 있기 때문에, 이를 하나의 통일된 형태로 정리하는 작업이 필요하다. 마치 서로 다른 언어로 쓰인 기록들을 번역해서 하나의 표준 언어로 바꾸는 것과 같다. 또한, 의미 있는 패턴을 추출하기 위해 데이터를 시간 순으로 정렬하고 그룹화하는 작업도 전처리 및 정규화 계층에서 이루어진다.
이 계층은 수집 계층에서 확보된 데이터를 분석 가능한 형태로 정제하는 역할을 담당한다. 이 계층에서는 JSON, syslog, CSV 등 다양한 형태의 로그를 통합 포맷으로 정규화 해야 한다. 또한 단말 ID나 Session ID를 기준으로 관련 이벤트들을 집계하고 시계열 패턴을 구성한다. 이후 기계학습 모델 입력을 위한 Feature를 추출하는 과정이 수행된다. Sliding window 기반 통계량, 이벤트 간 시간간격, API 호출 패턴 변화 등 다양한 관측치를 기반으로 복합 이상 징후를 이상 탐지 모델에 전달한다.
3.3.3 이상 탐지 계층
전처리 및 정규화 계층에서 정리된 O-RAN 데이터를 분석하여 이상 행위나 비정상적인 상황을 탐지할 수 있다. 이때 기계학습 모델이 사용되는데, 평소 보다 훨씬 많은 자원 요청을 하거나, 일반적으로 연결되지 않는 장비 간의 접속 시도가 발생하면 이상 행위로 판단할 수 있다.
이상 탐지 계층은 O-RAN 보안 프레임워크의 핵심 컴포넌트로서 전처리된 입력 데이터를 바탕으로 지도학습 및 비지도학습 기반의 기계학습 모델을 활용하여 이상 징후를 탐지한다. 본 연구에서는 다양한 위협 시나리오에 대응하기 위해 VAE(Variational Autoencoder)를 활용한 비지도 학습 기반 모델을 사용한다.
탐지 결과는 Condidence Score 기반으로 정합성을 판단하며, 멀티 모델 앙상블 구조를 통해 오탐률을 최소화하도록 설계하는 것이 바람직하다. O-RAN 보안 프레임워크는 GPU가 없는 환경에서도 1초 이내의 Inference 시간을 보장하며, Near-RT 수준의 실시간 탐지가 가능하다.
3.3.4 정책 피드백 및 제어 계층
O-RAN 내부에 이상 행동이 발견되면, 프레임워크는 단순히 경고를 보내는 데 그치지 않고 자동으로 대응할 수 있어야 한다. 예를 들어 이상 행동을 하는 xApp을 일시적으로 중단하거나, 공격이 발생한 서버를 격리하는 등의 조치가 이루어져야 한다. 또한, 이 과정은 사람이 수동으로 개입하지 않고 정책 피드백 및 제어 계층에서 실시간으로 이루어진다.
이 계층은 탐지된 위협에 대해 적절한 대응을 수행하는 역할을 담당한다. 탐지 결과는 SMO, RIC 또는 O-Cloud와의 인터페이스를 통해 정책 변경, 자원 차단, VM 격리, 세션 종료 등의 제어 명령으로 연계된다. 예를 들어, 악성 xApp 탐지가 이루어졌을 경우 해당 xApp을 일시적으로 비활성화하거나, 내부 이동이 감지된 경우에는 관련 VM을 격리하는 조치가 즉시 시행될 수 있다. 또한 탐지된 이벤트는 관리자에게 경고 알림으로 전달되거나, 자동 정책 업데이트를 트리거하는 방식으로 처리될 수 있다. 이러한 대응 체계를 통해 ZTA의 원칙 7에서 요구하는 ‘탐지 기반 실시간 정책 재적용’을 기술적으로 구현할 수 있다.
또한, 이 계층은 탐지 결과를 실질적인 보안 정책 제어로 연계하여, 자동 대응 및 가시성을 제공한다. 이때 피드백 대상 인터페이스 항목은 다음을 포함한다:
∙ SMO : A1 정책 인터페이스 → 정책 Push
∙ Near-RT RIC : xApp 활성화 및 비활성화, 우선순위 변경 등
∙ O-Cloud Orchestrator : VM 격리, 사용자 세션 강제 종료 등
4. O-RAN 보안 프레임워크 검증
4.1 O-RAN 보안 위협 기반 프레임워크 동작 검증
O-RAN 보안 프레임워크는 단순히 위협을 탐지하는 수준에 머무르지 않고, 수집-정규화-탐지-정책반영-차단(격리)의 연속적인 과정을 통해 운영된다. 특히 3장에서 정의한 5가지 대표적 위협 시나리오를 대상으로, 본 프레임워크가 어떻게 대응하는지 구체적으로 살펴본다.
첫 번째, 악성 xApp에 의한 RIC 장애 유발 위협의 경우, 텔레메트리 수집 계층에서 RIC 내부의 로그, xApp 동작 이력, 메시지 라우터 통신 패턴이 지속적으로 모니터링된다. (그림 8)과 같이 전처리 및 정규화 계층에서는 수집된 로그를 표준 포맷으로 변환하고, 정상 동작 패턴과 비교 가능한 형태로 정의한다. 이후 이상 탐지 계층에서 AI 기반 모델이 정상적인 xApp 동작과 비교하여 비정상적인 패킷 주입이나 과도한 메시지 전송을 탐지하면, 정책 피드백 계층은 해당 xApp을 격리하거나 실행을 중단시키는 자동화된 제어 명령을 RIC에 전달하고 실행한다.
(그림 8) RIC 장애 위협 탐지 시퀀스 다이어그램
두 번째, 악성 단말의 제어 메시지 공격은 O-DU와 O-CU에서 수집되는 제어 채널 로그와 무선 링크 프로토콜 메시지를 통해 탐지된다. 이 데이터는 정규화 과정을 거쳐 제어 메시지의 정상 시퀀스와 비교되며, 탐지 계층에서는 스푸핑된 메시지나 변조된 시그널링 패턴을 실시간으로 식별한다. 만약 위협이 확인되면 정책 계층은 해당 단말의 세션을 강제 종료하거나 차단하며, 동시에 RIC에 정책 업데이트를 전달하여 유사한 패턴을 보이는 세션에서도 사전에 차단할 수 있다.
세 번째, O-CU 기반 서비스 거부 공격은 트래픽 이상 패턴을 탐지하는데 중점을 둔다. 텔레메트리 계층에서 O-CU가 전송하는 패킷 전송률과 세션 요청 빈도를 모니터링하고, 전처리 계층에서 이를 시계열 데이터로 변환한다. 이상 탐지 계층은 정상 트래픽 프로파일과 비교해 갑작스러운 플러딩이나 대규모 트래픽 증가를 탐지할 수 있으며, 이 경우 정책 계층은 해당 O-CU 인스턴스를 격리하고, 공격 트래픽을 차단하는 필터링 규칙을 실시간으로 적용한다. 이와 같은 자동화된 대응은 수동적 보안 관리와 달리 빠른 차단을 가능하게 한다.
네 번째, CU를 통한 데이터 유출 위협에서는, 로그와 데이터 흐름을 모니터링하는 과정이 핵심이다. CU 내부에서는 발생하는 사용자 데이터 접근 기록과 Data Network(DN)으로 향하는 트래픽이 수집되며, 정규화 과정에서 데이터 전송 요청과 정책 위반 여부가 비교된다. 이상 탐지 계층은 정상적인 서비스 트래픽과 비교하여 비인가된 데이터 전송 패턴을 탐지할 수 있으며, 정책 계층은 해당 데이터 흐름을 차단하거나 암호화되지 않은 전송을 중단시킨다. 또한, 관리자는 이러한 이벤트를 실시간으로 확인하고 정책 업데이트를 통해 데이터 접근 권한을 보다 체계적으로 관리할 수 있다.
마지막으로 O-RU 펌웨어 탈취 위협은 물리적 보안 취약성을 악용하는 시나리오이므로 RU 장치의 펌웨어 무결성을 체크해야 한다. 우선 텔레메트리 계층에서 O-RU 펌웨어의 Hash Checksum 또는 부트 로그 등 무결성을 확인할 수 있는 데이터를 수집하고 이를 다음 계층으로 전달한다. 데이터를 전달받은 정규화 계층은 이를 표준 해시 데이터와 비교 가능한 형태로 변환하며, 탐지 계층에서는 무결성 위반 여부를 최종 판단한다. 만약 펌웨어 변조나 백도어 삽입 가능성이 식별되면, 정책 계층은 해당 RU를 네트워크에서 즉시 격리하고, SMO 관리자에게 알람을 전송한다. 이를 통해 공격자가 하나의 장비에 직접 접근하더라도 전체 네트워크로의 확산을 예방할 수 있다. 지금까지 정리한 O-RAN 보안 위협에 대한 탐지 방법을 정리하면 <표 2>와 같다.
<표 2> O-RAN 보안 위협에 대한 탐지 방법
4.2 O-RAN 보안 프레임워크 성능 검증
본 연구에서는 O-RAN 보안 프레임워크의 악성 xApp에 대한 탐지 성능을 텔레메트리 기반 시뮬레이션을 통해 검증하였다. 실험은 O-RAN 표준에서 정의된 E2SM-KPM 메시지 구조를 참조하여 정상 및 악성 시나리오를 생성하는 방식으로 진행되었다. 정상 시나리오는 평균 1 msg/s의 수집률, 20% 미만의 UE 단위 수집, 2~4개의 KPI 모니터링으로 정의하였다. 반대로 악성 시나리오는 평균 4~5 msg/s의 높은 수집률, 80% 이상의 UE 단위 수집, 5–8개의 KPI 과수집, 그리고 200ms 이하의 granularity 설정을 통해 데이터 노출형 위협을 재현하였다. 검증 장비의 환경은 다음과 같다:
∙ CPU: Intel Ultra7-155H
∙ RAM: 32 GB
∙ Storage: 4 TB SSD
∙ OS: Windows 11
∙ Programming Language: Python 3.10
생성된 데이터는 60초 길이의 윈도우 단위로 분할되었으며, 각 윈도우에 대해 ReqRate, UniqueKPICount, UEGranularityRate, TopUERatio, FreqIndex, SpikeScore, KPIEntropy 등 7개의 Feature를 계산하였다. 학습 모델은 비지도 학습 기반 Autoencoder를 적용하여 정상 데이터만 학습시켰고, 검증용 정상 데이터의 95%를 임계값으로 사용하여 탐지를 수행하였다.
실험 결과, 제안된 프레임워크는 시뮬레이션 환경에서 F1-score 0.95, 탐지율(Recall) 98%를 보여주었다. 이는 데이터 노출형 악성 xApp 시나리오에서 제안된 탐지 기법이 높은 성능을 보였음을 의미한다. 다만 시뮬레이션 기반 검증이라는 특성상 실제 환경에서는 탐지율이 다소 낮아질 가능성이 있다.
본 연구의 결과를 기존 연구와 비교하여 정리하면 <표 3>과 같다. Li et al. [9]은 O-RAN에서 발생하는 성능 이상을 탐지하기 위해 AI 기반 기법을 적용하였으며, KPI 로그 데이터로 탐지율 91%, F1-score 0.90을 달성하였다. 반면, Zhang et al. [23]은 연합학습(Federated Learning)을 적용하여 O-RAN 보안을 강화하고, 분산 학습 환경에서 탐지율 87%을 달성하였다. (그림 9)에서 본 연구 결과를 기존 연구 결과와 시각적으로 비교하였다.
<표 3> 본 연구와 기존 연구 간 항목별 비교
(그림 9) 본 연구와 기존 연구 간 성능 검증 결과 비교
제안된 프레임워크는 기존 연구와 달리 표준 기반 텔레메트리 Feature를 활용한 정량적 탐지 모델을 제시하였다는 점에서 차별성을 가진다. 시뮬레이션 검증 측면에서 높은 성능을 확인하였으며, 이는 제안된 프레임워크가 데이터 노출 탐지에 효과적임을 보여준다. 또한, 기존 연구 [9], [23]과 비교했을 때 탐지율 측면에서 우수하며, 위협 유형의 범위를 확장하는 데 기여할 수 있다.
5. 결론
본 논문은 차세대 6G 네트워크의 핵심 인프라로 부상하고 있는 O-RAN의 보안 위협과 대응 방안을 다루었다. 먼저, O-RAN 아키텍처 특성과 표준화 동향을 분석하여 기존 폐쇄형 RAN과 달리 효율적, 개방적이라는 특성이 보안 측면에서 새로운 위험을 내포하고 있음을 확인하였다. 또한, 선행 연구들을 검토한 결과, 인터페이스 암호화, AI 기반 이상 탐지, ZTA 적용 등 다양한 시도가 있었지만, 특정 영역에 국한되어 있거나 부분적 대응에 머물렀다는 점에서 연구 공백이 존재함을 확인하였다.
이에 본 논문은 O-RAN 보안 프레임워크를 제안하였다. 제안된 프레임워크는 텔레메트리 수집, 전처리 및 정규화, 이상 탐지, 정책 피드백 및 제어라는 4가지 계층으로 구성되며, ZTA의 핵심 원칙인 지속적 점증과 최소 권한 접근을 적용하였다. 특히 프레임워크는 단순한 위협 탐지를 넘어 로그와 트래픽 수집에서 시작해 정규화, AI/ML 기반 탐지, 그리고 정책 자동 반영과 차단에 이르는 연속적인 과정 포함하는 실시간 방어 체계를 구현할 수 있다. 그리고 이를 통해 O-RAN의 제어 평면, 데이터 평면, 하드웨어/펌웨어 영역에서 발생할 수 있는 다양한 위협을 통합적으로 대응 가능함을 알 수 있었다.
본 연구는 O-RAN 보안 분야에서 3가지 측면의 의의를 갖는다. 첫째, 기존 연구가 단편적으로 다룬 보안 이슈를 통합적으로 체계화하여 위협 모델을 제시했다는 점이다. 둘째, 구체적인 공격 시나리오와 이를 탐지 차단하는 프레임워크 운영 방안을 함께 제시함으로써 이론적 논의에 그치지 않고 실질적인 대응 전략을 제공했다는 점이다. 셋째, ZTA 원칙 7에서 요구하는 ‘탐지 기반 실시간 정책 재적용’을 구현할 수 있는 계층적이고 자동화된 방어 체계를 제시함으로써 향후 O-RAN 및 6G 네트워크 보안 표준 논의에 기여할 수 있는 기반을 마련했다.
향후 연구는 더욱 실증적인 검증으로 확장될 필요가 있다. 예를 들어, 실제 O-RAN 테스트베드를 구축하여 제안된 프레임워크를 프로토타입으로 구현하고 탐지 정확도, 지연시간, 오탐률 등의 지표를 통해 성능을 평가해야 한다. 또한, 제안 프레임워크를 O-RAN Alliance 및 3GPP의 보안 표준화 논의와 연계하여 산업계와 학계 모두가 활용 가능한 형태로 발전시키는 것이 중요하다. 단순한 장비의 무결성을 확인하는 수준을 넘어, O-RAN 생태계 전반의 신뢰성을 검증할 수 있는 메커니즘으로 확장해야 한다.
References
- P. Ranaweera, A. Seneviratne, A. Y. Zomaya and S. K. Jha, "Open RAN Security: Challenges and Opportunities", arXiv preprint arXiv:2212.01510, 2022.
- M. Polese, A. Ganesan, J. Gomez, M. Zorzi and T. Melodia, "Understanding O-RAN: Architecture, Interfaces, Algorithms, Security, and Research Challenges", arXiv preprint arXiv:2202.01032, 2022.
- M. Alavirad, A. R. E. Akbari and B. Khalaj, "O-RAN architecture, interfaces, and standardization", Frontiers in Communications and Networks, Vol. 4, 1127039, 2023. https://doi.org/10.3389/frcmn.2023.1127039
- O-RAN Alliance, "Open RAN Security White Paper - March 2022", Technical Report, 2022.
- 김장환, "모바일 서비스 네트워크의 구조적 분석과 보안 취약성", 융합보안논문지, 제16권, 제5호, 49-55, 2016.
- D. Mimran, H. HaddadPajouh, A. Dehghantanha and K.-K. R. Choo, "Evaluating the Security of Open RAN", arXiv preprint arXiv:2201.06080, 2022.
- M. Karbalaee Motalleb, M. Torabi Dashti, M. R. Rahimi and R. Tafazolli, "Towards Secure Intelligent O-RAN Architecture: Vulnerabilities, Threats and Promising Technical Solutions using LLMs", arXiv preprint arXiv:2411.08640, 2024.
- J. Kim, H. Lee and S. Kang, "Securing the E2 Interface in Open RAN", IEEE Communications Standards Magazine, Vol. 7, No. 2, pp. 54-62, 2023.
- X. Li, Y. Huang and Z. Zhang, "AI-based Anomaly Detection in Open RAN", IEEE Transactions on Network and Service Management, Vol. 21, No. 1, pp. 102-115, 2024.
- A. Gupta, S. Joshi and N. Saxena, "Policy -based Access Control in O-RAN", in Proc. IEEE GLOBECOM Workshops, pp. 213-218, 2023.
- 이다인, 이후기, "제로 트러스트 원리를 반영한 보안 강화 요소 기술 적용 방안 연구", 융합보안논문지, 제22권, 제3호, pp. 3-11, 2022. https://doi.org/10.33778/kcsa.2022.22.3.003
- K. Ramezanpour and J. Jagannath, "Intelligent Zero Trust Architecture for 5G/6G Networks", arXiv preprint arXiv:2106.12345, 2021.
- X. Chen, H. Zhang and Y. Xiao, "Zero Trust Architecture for 6G Security", IEEE Network, Vol. 39, No. 3, pp. 14-22, 2025.
- O-RAN Alliance, "O-RAN Architecture Overview", Technical White Paper, 2021.
- AWS, "Open RAN Architecture on AWS", White Paper, 2025.
- A. Laghrissi and T. Taleb, "A Comprehensive Tutorial and Survey of O-RAN: Evolution, Architecture, and Standardization", arXiv preprint arXiv:2402.04521, 2024.
- ETSI, 'O-RAN Standard Interfaces', Technical Specification, 2023.
- NTIA, "Open RAN Security Report", U.S. Department of Commerce, 2023.
- O-RAN Alliance, "About O-RAN", 2024.
- 3GPP, "Technical Specification: 6G Requirements", Release 19, 2024.
- European Union, "5G/6G Security Policy Report", EU Commission Report, 2023.
- Trend Micro, "The State of Open RAN Security", Technical Report, 2023.
- Y. Zhang, M. Chen and W. Saad, "Federated Learning for O-RAN Security: Opportunities and Challenges", in Proc. IEEE ICC Workshops, pp. 451-456. 2024.
- S. M. Cheng, Y. L. Hsu and C. H. Wu, "Anomaly Detection for Mitigating xApp and E2 Interface Threats in O-RAN Near-RT RIC", IEEE Transactions on Network and Service Management, Vol. 20, No. 2, pp. 230-242, 2023.
- Trend Micro Research, "The Current State of Open RAN Security", Technical Report, 2023.
- S. Jha, R. Singh and P. Ranaweera, "Security Threats to xApps Access Control and E2 Interface in O-RAN", 2023.
- P. Ranaweera, A. Seneviratne, A. Y. Zomaya and S. K. Jha, "Open RAN Security: Challenges and Opportunities", arXiv preprint arXiv:2212.01510, 2022.
- A. Gupta, V. Kumar, and N. Saxena, "DoS Attacks in O-RAN: Threats and Mitigations", in Proc. IEEE GLOBECOM Workshops, pp. 319-324, 2023.
- M. Alavirad, A. R. E. Akbari and B. Khalaj, "O-RAN architecture, interfaces, and standardization", Frontiers in Communications and Networks, Vol. 4, 1127039, 2023. https://doi.org/10.3389/frcmn.2023.1127039
- Foxconn RPQN O-RU Installation and Operating Guide v2.8, https://manuals.plus/ ko/foxconn/rpqn-o-ru-local-5g-nr-system-manual
- J. Hiller, T. Wiegand and K. Wehrle, "Firmware Security Challenges in Open RAN Radio Units", IEEE Access, Vol. 11, pp. 145210-145225, 2023.