DOI QR코드

DOI QR Code

A Study on Radar Video Fusion Systems for Pedestrian and Vehicle Detection

보행자 및 차량 검지를 위한 레이더 영상 융복합 시스템 연구

  • 조성윤 (안양대학교 소프트웨어학과) ;
  • 윤여환 (한국건설기술연구원 도로교통연구본부)
  • Received : 2023.12.01
  • Accepted : 2024.02.09
  • Published : 2024.02.29

Abstract

Development of AI and big data-based algorithms to advance and optimize the recognition and detection performance of various static/dynamic vehicles in front and around the vehicle at a time when securing driving safety is the most important point in the development and commercialization of autonomous vehicles. etc. are being studied. However, there are many research cases for recognizing the same vehicle by using the unique advantages of radar and camera, but deep learning image processing technology is not used, or only a short distance is detected as the same target due to radar performance problems. Therefore, there is a need for a convergence-based vehicle recognition method that configures a dataset that can be collected from radar equipment and camera equipment, calculates the error of the dataset, and recognizes it as the same target. In this paper, we aim to develop a technology that can link location information according to the installation location because data errors occur because it is judged as the same object depending on the installation location of the radar and CCTV (video).

자율주행 자동차 개발 및 상용화에 있어서 주행안전도 확보가 가장 중요한 시점에서 이를 위해 전방 및 주행차량 주변에 존재하는 다양한 정적/동적 차량의 인식과 검출 성능을 고도화 및 최적화하기 위한 AI, 빅데이터 기반 알고리즘개발 등이 연구되고 있다. 하지만 레이더와 카메라의 고유한 장점을 활용하여 동일한 차량으로 인식하기 위한 연구 사례들이 많이 있지만, 딥러닝 영상 처리 기술을 이용하지 않거나, 레이더의 성능상의 문제로 짧은 거리만 동일한 표적으로 감지하고 있다. 따라서 레이더 장비와 카메라 장비에서 수집할 수 있는 데이터셋을 구성하고, 데이터셋의 오차를 계산하여 동일한 표적으로 인식하는 융합 기반 차량 인식 방법이 필요하다. 본 논문에서는 레이더와 CCTV(영상) 설치 위치에 따라 동일한 객체로 판단하기에 데이터 오차가 발생하기 때문에 설치한 위치에 따라 위치 정보를 연동할 수 있는 기술 개발을 목표로 한다.

Keywords

Ⅰ. 서론

자율주행차는 레이더(Radar), 라이다(Lidar), 스테레오 카메라(Stereo Camera), 초음파 센서(Ultrasonic) 등 다양한 센서가 필요하며, 레이더 센서는 200m 이내의 인지 가능 거리의 한계로 다양한 도로 교통 환경에 대처하여 안전 솔루션을 제공하는데 한계가 있다. 특히, 기상 악천후에는 센서 인지 가능 거리가 더욱 축소될 수 있고, 비신호 교차로, 사각지대, 보행자 상충 구간과 같이 단순한 인지뿐만 아니라 복잡한 의사결정을 요구하는 구간에서는 교통 인프라와 협업 없이는 안전한 정보 제공 한계가 있다. 또한, 자율주행 자동차 개발 및 상용화에 있어서 주행안전도 확보가 가장 중요한 시점에서 이를 위해 전방 및 주행 차량 주변에 존재하는 다양한 정적/동적 차량의 인식과 검출 성능을 고도화 및 최적화하기 위한 AI, 빅데이터 기반 알고리즘 개발 등이 연구되고 있다. 하지만 레이더와 카메라의 고유한 장점을 활용하여 동일한 차량으로 인식하기 위한 연구 사례들이 많이 있지만, 딥러닝 영상 처리 기술을 이용하지 않거나, 레이더의 성능상의 문제로 짧은 거리만 동일한 표적으로 감지하고 있다. 따라서 레이더 장비와 카메라 장비에서 수집할 수 있는 데이터셋을 구성하고, 데이터셋의 오차를 계산하여 동일한 표적으로 인식하는 융합 기반 차량 인식 방법이 필요하다.

본 논문은 밀리미터 웨이브 레이더의 주파수를 증가(30GHz → 60GHz)시키고, 안테나(Tx, Rx)의 등방성 값을 증가(7dbi →23dbi)하는 등의 센서 자체의 성능을 향상시키는 것을 목표로 한다. 그리고 레이더를 통해 획득할 수 있는 객체 추적 데이터를 통해 보행자의 이동 특성을 분석하고, 객체 추적 중 사라지거나 이상 패턴을 보이는 돌발 상황을 대비한 이동 특성 알고리즘을 개발하는 것을 목표로 한다. 또한, 레이더와 CCTV 이중화 제어기(파일럿 시스템)을 구현하여 하나의 장비에서 레이더와 영상의 데이터셋을 매칭할 수 있고, 레이더와 영상의 객체 판단 유무를 확인할 수 있는 인터페이스 SW 개발을 목표로 한다.

Ⅱ. 관련 연구

밀리미터 레이더를 고도화하기 위한 개발 방향 정립을 위한 국내 및 국외 선행연구 고찰 결과는 아래 표와 같다.

표 1. 밀리미터 레이더 관련 선행연구

Table 1. Previous Study on Millimeter Radar

OTNBBE_2024_v24n1_197_t0001.png 이미지

딥러닝 기반 레이더와 영상 이중화 센싱 파일럿 시스템 개발 방향 정립을 위한 국내 및 국외 선행연구 고찰 결과는 아래 표와 같다.

표 2. 딥러닝 기반 레이더와 영상 이중화 관련 선행연구

Table 2. Previous Study on Deep Learning-Based Radar and Video Redundancy

OTNBBE_2024_v24n1_197_t0002.png 이미지

Ⅲ. 본론

1. 밀리미터 웨이브 레이더 기반 객체 분석 알고리즘 개발

레이더에서 객체를 분석하고, 군집(이하 클러스터링)할 수 있는 알고리즘은 DBSCAN(Density-Based Spatial Clustering of Applications with Noise)을 사용하였으며, 레이더 데이터에서 추출되는 객체 데이터들의 구성은 다음 표 3과 같으며, 객체 분석 알고리즘의 순서도는 그림 1과 같이 표현된다.

표 3. 레이더 객체 데이터 구성

Table 3. Configuring Radar Object Data

OTNBBE_2024_v24n1_197_t0003.png 이미지

OTNBBE_2024_v24n1_197_f0001.png 이미지

그림 1. 객체 분석 알고리즘 순서도

Fig. 1. Object Analysis Algorithm Flowchart

DBSCAN은 밀도 기반의 클러스터링 기법으로 점이 세밀하게 몰려 있어서 밀도가 높은 부분을 클러스터링하는 방식이며, 어느 점을 기준으로 반경 e 내에 점이 n개 이상 있으면 하나의 군집으로 인식하는 방식으로 점을 중심으로 epsilon 반경내에 minPts 이상수의 점이 있으면 그 점을 중심으로 군집이 되고 그 점을 core point라고 하며, Core point가 서로 다른 core point 군집의 일부가 되면 그 군집을 서로 연결되어 있다고 하고 하나의 군집으로 연결을 하고 있다. 군집에는 속하지만, 스스로 core point가 안되는 점을 border point라고 하고, 주로 클러스터의 외곽을 이루는 점이되며, 어느 클러스터에도 속하지 않는 점은 Noise point으로 통칭하고 있다.

DBSCAN 알고리즘을 사용하는 이유는 크게 3가지로 1) 클러스터의 수를 정하지 않아도 되기 때문에 군집의 수를 정하지 않아도 밀도 중심으로 군집을 나누어 클러스터링하며, 다른 클러스터링 알고리즘과 다르게 군집의 수를 미리 지정하지 않는다. 2) 레이더의 객체 검지 데이터 중 난반사 등 장애물에 의한 노이즈가 발생하는 경우가 있으며, 이러한 경우 노이즈에 ID 값이 부여되어 고스트 차량이 발생할 수 있기에 일부 노이즈 제거가 가능하고, 레이더에서 검지된 신호를 객체로 인식하는 과정에 검지된 포인트 반경 n개 이상의 데이터가 검지하며, 노이즈의 경우 검지된 포인트의 수가 적어 군집화되지 못하여 노이즈는 제거된다. 3) 다른 클러스터링 알고리즘들에 비해 처리 속도가 빠른 장점이 있다.

OTNBBE_2024_v24n1_197_f0002.png 이미지

그림 2. 객체 분석 알고리즘 모듈별 시나리오

Fig. 2. Object Analysis Algorithm Module-Specific Scenarios

가. 포인트 클라우드 태깅(Point Cloud Tagging)

첫 번째 단계로 사용자가 지정한 관심 영역(ROI)를 벗어나는 탐지된 점(Point)는 적절하게 태깅한 다음 다음 단계 프로세싱을 위해 무시하며, 이와 같은 사용자 지정 Boundary는 관심 영역을 정의하고 일반적으로 ROI영역 크기를 설정함 이렇게 지정한 영역 외에 검지된 포인트를 무시하면 객체 탐지에 방해가 되는 Ghost 타겟을 제거하는 데 도움이 되며, 레이더 Low level processing 단계에서 처리되어 시리얼 포트 또는 이더넷 포트로 전송된다.

나. 예측단계(Predict)

예측 단계는 칼만 필터를 이용한 예측 표현식을 구현되며, 예측에 대한 입력은 좌표의 위치, 속도 및 가속도(즉, 상태 벡터)와 추적된 개체의 해당 상태 공분산 행렬를 의미하고, 예측 표현식을 기반으로 새로운 위치, 속도 및 가속도(즉, 선험적 상태 벡터) 및 공분산 행렬이 각 대상에 대해 추정된다.

다. 병합단계(Associate)

병합 단계에서는 각 객체 주위에 게이트가 생성되고, Mahalanobis Distance(어떤 값이 얼마나 일어나기 힘든 값인지, 또는 얼마나 이상한 값인지를 수치화하는 한 방법, 평균과의 거리가 표준편차의 몇 배인지를 나타내는 값)는 각 측정 지점과 각 대상/트랙 사이에서 계산되어 포인트가 트랙의 게이트 내에 있으면 평가점수가 할당되고, 각 포인트는 게이트에 적합한 각 트랙에 대한 점수가 부여되며, 마지막으로 평가점수가 가장 높은 트랙에 포인트가 할당되고, 각 포인트는 단일 트랙에만 연결된다.

라. 할당(Allocate 또는 Clustering)

병합 단계에서 기존 트랙과 연결되지 않은 모든 포인트는 할당 단계를 고치되고, 기능적으로 할당은 클러스터링과 유사하며, 할당 단계에서 임의의 측정 지점이 먼저 선행 측정으로 선택되고 클러스터/후보 집합의 초기화에 사용되어 각 측정이 클러스터의 사용자 구성 가능한 속도 및 거리 임계값 내에 속하는지 확인한다. 측정이 테스트를 통과하면 클러스터에 추가되고 객체 중심이 다시 계산되고, 모든 측정 포인트에 대해 이 작업이 완료되면 클러스터에 대해 몇 가지 추가 자격 기준이 확인되고, 이러한 테스트에는 클러스터가 최소 포인트 수를 초과하는지, 평균 속도가 속도 임계값을 초과하는지, 클러스터의 포인트가 결합된 SNR(Signal-to-Noise Ratio)이 충분히 큰 값인지 확인하며, 이와 같은 SNR 기준을 통과하면 새로운 추적 인스턴스가 생성되고 클러스터의 관련 포인트가 추적기를 초기화하는 데 사용되어 최소 기준을 통과하지 못한 클러스터는 무시된다.

마. 갱신(Update)

새 측정값 이 트랙에 병합되면 트랙 중심 및 해당 공분산 행렬 추정값이 새롭게 병합된 측정값을 기반으로 각 트랙에 대해 업데이트한다. 또한, 이 단계에서 그룹 트랙 분산 행렬과 그룹 공분산 행렬도 같이 계산됩니다. 그룹 공분산 행렬은 이후 병합 단계에서 사용되어 각 트랙 주위에 게이트를 형성한다.

바. 존재유무(Presence)

객체 존재 유무 감지는 점유 영역 내에 대상이 있는지 확인하는 단계로 초기 탐지와 해당 지점에서 알고 있는 표적을 결합하며, 초기 감지 표시의 경우 할당(Clustering) 프로세스에서 생성된 후보 세트를 재사용하고, 점유 임계 값, 즉 세트의 포인트 수와 평균 속도가 해당 임계 값을 초과하는지 확인한다.

사. 유지(Maintenance)

각 트랙은 이벤트의 수명 주기를 통해 전환되어 트랙이 DETECT, ACTIVE 또는 FREE 상태일 때 유지 관리 단계에서 트랙의 상태가 변경되거나 트랙 할당이 해제된다.

2. 레이더와 영상을 융합한 이중화 제어기 구현

레이더와 영상센서 이중화 제어기는 에지 플랫폼 서버 연동 프로토콜을 먼저 정의하였으며, 해당 프로토콜은 TCP/IP 통신 방식, Closed API로 연동되며, 이중화 제어기와 영상식별기 간의 통신은 TCP/IP 방식의 패킷통신 방식을 따르며 제어기는 Server 모드, 영상센서는 Client 모드로 동작한다.

제어기(Server)와 영상센서(Client) 구조에서 제어기는 레이더에서 검출된 객체의 정보(검출시간)전송하고, Passive 영상센서는 영상에서 객체 위치 중심(화면중심)에서 식별된 정보를 전송하며, Scheduling 영상센서는 자체 카메라 위치 순환 중 검출된 객체의 정보를 전송하며, 전체적인 제어기와 영상센서 간의 통신 흐름은 아래 그림과 같다.

OTNBBE_2024_v24n1_197_f0003.png 이미지

그림 3. 객체 분석 알고리즘 모듈별 시나리오

Fig. 3. Object Analysis Algorithm Module-Specific Scenarios

프로토콜의 패킷은 전송되는 메시지 프레임은 고정 길이를 가지는 헤더 부와 헤더 내의 명령어 코드에 따라 가변길이를 가지는 데이터부, 고정 길이를 가지는 종료부로 구성되고, 모든 패킷에 걸쳐 바이트 정렬은(Network Ordering: Little-Endian)을 따라야하며, 패킷을 구성하는 각 필드들에 대한 데이터형과 그 길이를 표시함에 따른 표기법은 다음 표 4와 같이 정의한다. 또한, 정수형 숫자로 표시되는 것이 일반적이며, 가변길이를 표현할 경우에는 [N]으로 타입코드를 표기하고, N 바이트 길이를 자니는 필드로 정리한다.

표 4. 필드 타입 종류

Table 4. Field Type Type

OTNBBE_2024_v24n1_197_t0004.png 이미지

제어기와 영상센서 명령 코드별 DATA 필드 패킷 구성은 제어기 시스템 정보 전송 및 시간 동기화 요청을 통해 수행되며, 제어기와 영상센서의 시간을 동기화하고 시스템 설정 정보를 송/수신하는 명령어는 Connect 후 첫 번째로 송/수신(임의의 시점에서도 가능)하며, 수신된 ID 들을 가지고 송/수신에 활용한다. 레이더와 카메라를 융합한 이중화 제어기에서 레이더의 데이터가 전송되고, PTZ 카메라에서 검지 영역을 설정하며, 이벤트가 발생하는 등 전체적인 시나리오 흐름은 다음 그림과 같다.

OTNBBE_2024_v24n1_197_f0004.png 이미지

그림 4. 레이더와 영상 이중화 제어기의 데이터 전송 흐름도

Fig. 4. Data Transfer Flowchart for Radar and Image Redundancy Controllers

레이더와 카메라를 융합한 이중화 제어기의 객체 정보 리스트가 에지 플랫폼 서버로 전송될 때 검지 영역이 단일 레이더 검지 영역을 초과하는 경우는 레이더 네트워크(Radar Network)를 통해 구성되고, Radar Network는 복수의 레이더 간 시간 동기를 조정하는 제어기(NPTMaster)로 구성되는 네트워크로 다수의 레이더가 동일한 타이밍으로 동작, 검지 영역 내의 객체를 연속적으로 추적한다. 통합 감지 알고리즘이 적용되어 검지 영역을 통합한 가상 맵 구성하여 객체 위치 매핑하고, 최대/최소 검지거리(음영지역) 고려하여 레이더 설치 높이 결정하며, NTP Master-Slave 통신은 유선 이더넷을 통해 구성된다. Radar Network로 검지 영역을 구성할 때 시간 동기되는 모습과 전체적인 구조 모습은 아래 그림과 같다.

OTNBBE_2024_v24n1_197_f0005.png 이미지

그림 5. 레이더 네트워크로 구성된 검지 영역

Fig. 5. Detection area consisting of Radar Network

딥러닝 기반 영상 처리를 통한 교통 객체 분류 및 인지 최적화를 위하여 자율주행 관련 AI 영상데이터 수집이 필요하며 이를 활용하여 1차 적으로 AI 학습모델을 구현하고 지속적으로 현장시험을 통하여 실영상을 수집할 예정이며, 실제 도로 환경/상황 및 악천후 기후에도 영상 객체 분류/인식 정확도를 점진적으로 개선이 필요하며, 아래 그림은 현재 구현한 이중화 제어기 및 영상 AI 학습 서버 및 관련 SW 모듈이다.

OTNBBE_2024_v24n1_197_f0006.png 이미지

그림 6. 레이더와 카메라 이중화 제어기 구성도

Fig. 6. Radar and Camera Redundancy Controller Configuration Diagram

Ⅳ. 성능평가

성능이 업그레이드된 레이더는 SOC 실증 센터에서 테스트를 진행하였으며, 평가 방법은 아래 표와 같다.

표 5. 성능평가를 위한 테스트 계획

Table 5. Test plan for performance evaluation

OTNBBE_2024_v24n1_197_t0005.png 이미지

테스트를 위해 구현된 밀리미터 웨이브 레이더 객체 검지 프로그램 UI는 아래와 같다.

그림 7의 설명은 소괄호를 이용하여 그림 내에 표현된 파란색 박스에 맞춰 설명한다. 1) Radar 연결은 장치 관리자에서 확인한 포트 번호에 맞춰 설정하는 부분으로 Data Port(Standard COM Port), CFG Port(Enhanced COM Port)로 구성되어 있다. 2) 섹션 탐색 데이터 출력 및 설정은 박스 안에 설정된 범위 안의 객체가 있는지 확인하고, 설정 범위 변경은 ‘[min ~ max]’의 형식으로 작성 후 버튼을 설정할 수 있다. 3) 분석 데이터 출력 화면의 차선 변경은 왼쪽부터 최대 4개의 차선을 설정할 수 있고, 그려진 차선 일부를 선택하여 Remove 버튼을 눌러 제거할 수 있으며, 선택된 차선의 라인을 추가는 Add 버튼을 누른 후 분석 데이터 화면 위에 마우스로 시작점과 끝점을 클릭할 수 있다. 4) 검지 된 차량 수 측정은 레이더에서 검지된 차량의 개수를 실시간을 표현하는 화면이다. 5) 레이더가 검지한 데이터의 원본을 출력하는 화면이며, 6) 검지 된 데이터를 가공한 후 출력하는 화면이다. 7) 카메라 연결로 연결 가능한 카메라 주소(RTSP 주소)를 작성하며 시작 버튼을 누를 수 있으며, 8) 연결된 카메라의 영상이 출력되는 화면이고, 9) 검지 된 객체의 정보가 표시되는 표이다.

OTNBBE_2024_v24n1_197_f0007.png 이미지

그림 7. 밀리미터 웨이브 레이더 객체 검지 프로그램 UI

Fig. 7. Millimeter Wave Radar Object Detection Program UI

구현된 밀리미터 웨이브 레이더 객체 검지 프로그램을 통해 테스트한 결과는 그림 8과 같다.

OTNBBE_2024_v24n1_197_f0008.png 이미지

그림 8. 밀리미터 웨이브 레이더 날씨 환경 테스트 결과

Fig. 8. Millimeter Wave Radar Weather Environmental Test Results

그림 8의 상단은 강우 상황에서 테스트한 레이더의 결과이고, 하단은 안개 상황에서 테스트한 레이더의 결과이다. 양호한 기상 상황과 짙은 안개 속에서는 일반적인 레이더 성능과 같이 최고 범위까지 차량의 검지가 가능하다는 것을 확인하였고, 짙은 안개(시계 5미터)는 밀리미터 웨이브 레이다에 큰 영향이 없다는 사실을 확인 했다. 강우 속에서는 일반적인 상황보다 검지 범위가 절반으로 줄어든다는 것을 확인하였으며, 악천우 속에서 레이더 검지 성능 향상을 위해 CFAR 파라미터 튜닝이 필요한 결과를 인지했다.

밀리미터 웨이브 레이더의 거리 및 속도 정확도를 시험한 결과는 다음과 같다.

OTNBBE_2024_v24n1_197_f0009.png 이미지

그림 9. 밀리미터 웨이브 레이더 거리 및 속도 테스트 결과

Fig. 9. Millimeter Wave Radar Distance and Speed Test Results

거리 정확도 시험은 거리 측정기를 사용하여 10m 간격으로 라바콘을 설치하여 비교하였고, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다. 속도 정확도 시험은 스피드건으로 측정한 값과 비교하며, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다.

정확도 계산 공식은 다음 수식 (1)과 같다.

정확도(%) = (1 - |(b - a)/b|) × 100 ≡ An

전체정확도(%) = (A1 + A2 + ... + An)/n       (1)

변수 a는 밀리미터 웨이브 레이더가 탐지한 거리와 속도 값이며, b는 SMS사 레이더가 탐지한 거리 및 속도이며, n은 정확도 측정을 위해 수행한 전체 횟수를 의미한다. 위의 수식 (1)에서 실제 차량 대수와 거리는 카메라 영상을 사용하여 테스트를 진행하였고, 차량을 대상으로 100회 실시하여 정확도를 평가했다. 평가 결과 인증 레이더 SMS-T45 대비 전체 거리 정확도는 92.26%, 전체 속도 정확도는 97.75%를 달성했다.

딥러닝 기반 레이더와 영상 이중화 센싱 파일럿 시스템 테스트는 SOC 실증 센터에서 진행되었으며, 테스트 시험 구성도는 그림 10과 같다. 악천후(강우, 안개) 날씨 환경에서 객체 검지 및 객체 분류 정확도 시험을 시행하였으며, 시험 결과로 1차 시험에서는 레이더 연동 및 CCTV 제어 성능 확인, 관련 소프트웨어 검증 및 추가 개선 필요 확인했다. 그림 11은 이중화 센싱 파일럿 시스템의 사용된 소프트웨어 초기 모습을 보여준다.

OTNBBE_2024_v24n1_197_f0010.png 이미지

그림 10. 이중화 센싱 파일럿 시스템 테스트 구성도

Fig. 10. Redundancy Sensing Pilot System Test Configuration Diagram

OTNBBE_2024_v24n1_197_f0011.png 이미지

그림 11. 이중화 제어기 소프트웨어 초기 모습

Fig. 11. Redundancy Controller SW Initial View

그림 12는 2차 시험을 통해 수행된 이중화 제어기 소프트웨어의 개선된 모습을 보여준다. 시험 방법은 CCTV 영상 추적(Preset) 거리 설정 수정 및 세밀화 테스트를 수행하고, CCTV Zoom In/Out에 따른 객체 분류 오검지 발생(객체 크기) 확인했다. 시험 결과로는 레이더, 이중화 제어기(AI 분석 모듈) 간의 통신 확인 및 이벤트 정보 수집 및 표출 확인했으며, 이중화 시스템 영상 분석시 필요기능을 정의하고, CCTV Preset별 ROI 영역 설정, 레이더 객체 정보와 영상 ROI 간의 데이터 맵핑과 같은 개선사항을 인지했다.

OTNBBE_2024_v24n1_197_f0012.png 이미지

그림 12. 레이더와 실영상 연동을 통한 AI 기반 객체 인식 결과

Fig. 12. AI-based object recognition results through radar and real-time interworking

그림 13은 3차 시험을 수행한 필드 테스트 구성 모습을 보여주고, 그림 14는 엣지 플랫폼까지의 통신 시간(성능) 테스트를 수행한 결과를 보여주며, 그림 15는 레이더와 실영상 이중화 제어기 간 수정된 프로토콜을 적용하여 통신이 되는지 확인한 모습을 보여준다.

OTNBBE_2024_v24n1_197_f0013.png 이미지

그림 13. 필드 테스트 구성

Fig. 13. Field Test Configuration

OTNBBE_2024_v24n1_197_f0014.png 이미지

그림 14. 데이터 전송 시간(성능) 테스트 결과

Fig. 14. Data Transfer Time(Performance) Test Results

OTNBBE_2024_v24n1_197_f0015.png 이미지

그림 15. 객체 ID 및 속도 프로토콜 수정 및 테스트

Fig. 15. Modifying and testing object IDs and speed protocols

엣지 플랫폼까지의 통신 테스트 결과는 전송시간에서 11ms를 기록했고, 통신 데이터 신뢰도는 100%를 기록하여 무리 없이 통신이 가능한 결과를 이루어 냈다. 또한, 레이더와 실영상 이중화 제어기에서 수정이 필요한 프로토콜에 대해서는 수정된 프로토콜을 적용하여 테스트를 수행하여 엣지 플랫폼 통신과 동일하게 무리 없이 통신이 가능하다는 결과를 확인했다.

Ⅴ. 결론

본 논문에서는 자율주행 자동차 개발 및 상용화에 있어서 안전성이 중요시되는 상황을 고려하여 레이더의 성능을 높이는 방법과 레이더와 실영상을 이용한 이중화 센싱 파일럿 시스템에 대한 구현 결과를 소개했다.

개선된 밀리미터 웨이브 레이더는 악천우 상황(강우, 안개)에서 정상적으로 보행자를 탐지하는 결과를 이루어 냈고, 전체 거리정확도는 92.26%, 전체 속도 정확도는 97.75%를 달성했다. 또한, 구현된 레이더와 실영상 이중화 센싱 파일럿 시스템은 총 3번의 실험을 수행했으며, 실험을 점차 수행하면서 필요한 소프트웨어의 특정 기능 및 통신 프로토콜의 수정이 필요한 개선사항을 도출했다. 마지막 시험에서는 이를 전부 적용하여 엣지 플랫폼까지 전송 시간을 50ms를 기록하며, 통신 데이터 신뢰도는 100%를 기록하여 통신 상태에 대한 검증을 마치게 되었다.

References

  1. Kyung-Woo Yoo, Seung-Hyun Kong, "Application and Analysis of 1D FRI (Finite Rate of Innovation) Super-resolution Technique in FMCW Radar", Transactions of the Korean Society of Automotive Engineers, Vol. 22, No. 7, pp. 31-39, Nov 2014. DOI: https://doi.org/10.7467/KSAE.2014.22.7.031
  2. Si-Woong Jang, Dong-Hun Jung, "Design and Implementation of a Distance Measurement System using Radar Sensor", Journal of the Korea Institute of Information and Communication Engineering, Vol. 22, No. 7, pp. 1009-1014, July 2018. DOI: https://doi.org/10.6109/jkiice.2018.22.7.1009
  3. Zuoning Dai, Xinggan Zhang, Yechao Bai, "A method of high accuracy velocity measurement for LFM radar", 2015 IEEE International Conference on Wireless Communications & Signal Processing (WCSP), pp. 1-4, Oct 2015. DOI: https://doi.org/10.1109/WCSP.2015.7341134
  4. Junhua Wang, Ting Fu, Jiangtian Xue, Chengmin Li, Hao Song, Wenxiang Xu, Qiangqiang Shangguan, "Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset", International Journal of Transportation Science and Technology, Mar 2022. DOI: https://doi.org/10.1016/j.ijtst.2022.02.006
  5. Alam, M. S., Islam, M. T., Misran, N., Mandeep, J. S. "A wideband microstrip patch antenna for 60 GHz wireless applications", Elektronika ir Elektrotechnika, Vol. 19, No. 9, pp. 65-70, Nov 2013. DOI: https://doi.org/10.5755/j01.eee.19.9.5651
  6. Mi-Ryong Park, Su-In Lee, "Target matching method for vehicle radar target list and vision image", ETRI(Electronics and Telecommunications Research Institute) Patent, 2017-0023531. Feb 2017.
  7. Gwang-Seop Kim, Seung-Pyo Cho, "Traffic Information Management System Using Camera and Radar", Inc. HuNS(Human & Solutions) Patent, 2014-0166072, Nov 2014.
  8. Zhangjing Wang, Xianhan Miao, Zhen Huang, Haoran Luo, "Research of Target Detection and Classification Techniques Using Millimeter-Wave Radar and Vision Sensors", Remote Sensing, Vol. 13, No. 6, pp. 1064, March 2021. DOI: https://doi.org/10.3390/rs13061064
  9. Jie Bai, Sen Li, Han Zhang, Libo Huang, Ping Wang, "Robust Target Detection and Tracking Algorithm Based on Roadside Radar and Camera", Sensors, Vol. 21, No. 4, pp. 1116, Feb 2021. DOI: https://doi.org/10.3390/s21041116
  10. Andras Palffy, Jiaao Dong, Julian F. P. Kooij, Dariu M. Garvrila, "CNN Based Road User Detection Using the 3D Radar Cube", IEEE Robotics and Automation Letters, Vol. 5, No. 2, pp. 1263-1270, Jan 2020. DOI: https://doi.org/10.1109/LRA.2020.2967272