Study on the Application of data drift to improve car Number Plate Identification

자동차 번호판 식별 개선을 위한 데이터드리프트 적용에 대한 연구

Abstract

Vehicle tracking is being done using black boxes and closed-circuit televisions (CCTVs). When an investigation is conducted relying on footage captured on CCTVs and black boxes, Number plates become important clues for identifying criminals. Research on image technology using artificial intelligence to smoothly recognize license plates is continuously being conducted. This paper conducted an academic review of research on number plate recognition and then improved the plate identification system used in actual investigations using Image Processing and YOLO. In addition, it examined that data drift is effective in improving license plate identification through experiments and results on a method of recognizing license plates using preprocessing functions of OpenCV.

블랙박스와 폐쇄회로(CCTV)를 통한 자동차 추적이 이루어지고 있다. 폐쇄회로(CCTV) 및 블랙박스 등에 촬영된 영상에 의존하여 수사를 진행되는 시점에서 자동차 번호판은 범인을 특정하는 중요한 단서가 된다. 자동차 번호판을 원활하게 인식하기 위해 인공지능을 활용한 영상 기술 연구는 지속적으로 수행되고 있으며, 본 논문은 자동차 번호판 인식에 대한 연구의 학술적 고찰을 진행한 후 실제 수사에서 사용하는 자동차번호판 식별시스템을 Image Processing와 YOLO를 활용하여 개선하였으며, 추가적으로 OpenCV의 전처리 기능들을 사용하여 자동차 번호판을 인식하는 방식에 대한 실험 및 결과를 통해 데이터드리프트가 자동차 번호판 식별 개선에 효과적이라는 점을 고찰하였다.

1. 서론

1.1 연구개요

최근 자동차로 인한 범죄 및 교통법규 위반 문제점이 지속적으로 증가 발생하고 있으며, 교통법규위반 및 교통범죄수사, 주차장 정산기 등에 활용고 있는 자동차 고유번호인 자동차 번호판에 대한 감지 및 식별에 대한 연구가 수행되고 있다. 자동차 번호판은 고유번호로서 교통법규위반, 교통범죄수사 및 수사단계에서 운전자 및 차량 소유자를 특정할 수 있는 중요한 단서가 되는데, 자동차 번호판은 아래의 (그림 1)와 같이 차종, 자동차 용도, 등록번호를 나타내는 고유번호로서, 자동차 번호판 특정이 사건·사고에 있어 핵심적인 해결역할을 하고 있다.

(그림 1) 자동차 번호판 원리

본 연구에서는 자동차 번호판을 폐쇄회로(CCTV) 및 카메라 등에서 잘 판독할 수 있도록 번호판 인식률을 높이기 위한 연구를 진행하였고, 야간 및 헤드라이트 등 주변 빛으로 인한 번호판 번짐을 딥러닝을 통해 개선하였다. OpenCV와 YOLO모델을 적용하여 다양한 환경에서 동작할 수 있도록 날씨로 인한 노이즈 발생, 조명, 각종 주변 잡음 등을 제거하였으며, 동작하는 번호판 인식 시스템 판단을 위해 실시간으로 데이터를 처리를 하였다. 어두운 야간 및 주변 빛 반사로 인한 번호판 인지가 안되는 부분도 딥러닝을 활용하여 복원 및 탐지를 할 수 있도록 적용하였다.

1.2 연구배경

자동차 번호판 인식에 있어 데이터드리프트 현상은 시간이 지남에 따라 학습 데이터와 실제 데이터 간의 분포가 변화하는 문제를 야기한다.

본 연구에서는 (그림 2)와 같이 X vs Y와 Y vs Z 축 투영을 통해 3차원 가우시안 데이터의 분포 변화를 시각화하였다. 이러한 분포도를 통해 시간 경과에 따른 데이터 특성의 변화를 명확하게 관찰할 수 있다. 또한, 3차원 임베딩을 위해서 (그림3)과 같이 동일한 데이터의 3차원 공간상 분포와 X vs Z 축 투영을 확인 후 발생할 수 있는 데이터 포인트들의 군집 형태와 분포 패턴 분석을 통해 데이터드리프트의 발생 양상을 입체적으로 파악할 수 있다.

(그림 2) X vs Y 및 Y vs Z 축 투영도

(그림 3) 3차원 Embedding Space 및 X vs Z 축 투영도

특히 (그림 4)에서의 Y vs Z와 X vs Z 축 투영은 데이터의 다른 측면을 보여주며, 이를 통해 데이터드리프트가 발생하는 다양한 패턴을 종합적으로 파악할 수가 있다.

(그림 4) Y vs Z 및 X vs Z 축 투영도

또한 아래의 (그림 5)과 같이 실제 차량 번호판을 CLIP 인코더로 임베딩하여 PCA, UMAP 등으로 시각화한 결과를 보여주는데, 이를 통해 실제 번호판 데이터에서 발생하는 데이터드리프트 현상을 다양한 차원 축소로 분석이 가능하다. 이러한 분석 결과는 효과적인 번호판 인식 시스템 설계에 중요한 통찰을 제공한다.

(그림 5) 번호판 데이터의 다차원 시각화 분석

2. 전처리를 통한 실험 준비

데이터드리프트는 시간 경과에 따라 학습 데이터와 실제 데이터 간의 분포가 변화하는 현상으로서, 자동차 번호판 인식에 있어 날씨, 조명, 카메라 각도 등 다양한 환경 변화로 인해 발생한다. 본 연구에서는 이러한 데이터드리프트를 고려하여 자동차 번호판 인식의 정확도를 향상시키고자 하였다. 특히 YOLOv4는 CSPDarknet53 백본 네트워크를 통해 데이터드리프트에 대한 강건성을 확보하였다.

이미지 원본의 압축과 복원에 기반한 오토인코더로부터 비롯되었다. 오토인코더는 입력 데이터를 압축하는 인코더를 통해 특징을 추출하고, 이를 다시 해독하는 디코더를 통해 입력 이미지를 복원하는 과정으로 학습된다.[1, 2] 이 과정에서 인코더는 입력 정보의 압축을 수행하고, 디코더는 압축된 정보를 해독하는 역할을 수행한다. 주로 시각적 이미지를 분석하는 데 사용되는 합성곱 신경망(CNN) 등의 방법론이 활용되며, 이미지의 속성을 추출하여 입력 이미지를 복원할 수 있도록 한다.[3, 4] 하지만, 오토인코더는 사용자의 명시적인 의도를 반영하기 어려운 한계를 가지고 있으며. 특히, 임의로 생성된 특징값을 통해 도출한 이미지 제어에 한계가 있다는 문제가 있기때문에 적대적 생성 신경망(GAN)을 사용하였으며[5, 6] 본 논문에서는 CNN과 GAN 및 데이터드리프트가 적용된 YOLO를 이용하여 자동차로부터 번호판 영역을 식별하였다.[7, 8] 먼저, 이미지 프로세싱으로는 검출된 번호판으로부터 전처리 작업(Blur, Threshold, dilation, eroshion 등)을 이용하여 숫자 및 글자 인식을 수행 후 자동차 번호판을 OpenCV에서 지원하는 블러, 스레싱홀드, 윤곽선 검출, 허프변환 등을 사용하였다. 약 15,000장의 번호판을 라벨링을 해주었고 Train과 Test Set에 비율을 8대2로 훈련한 결과 mAP는 100%가 나오고 Loss는 현저히 줄어드는 결과가 나왔다. 번호판 인식이 99%로 나타났으며 이미지에서 번호판을 Crop하여 전처리 작업을 진행함으로써 이미지의 주변 잡음들을 최대한 제거해 효과적인 번호판의 숫자와 문자를 추출할 수 있었다.

이미지 처리(Image Processing)는 디지털 이미지로부터 유용한 정보를 추출하고, 다양한 방식으로 이미지를 변환 및 조작하는 컴퓨터 비전(Computer Vision)의 핵심 분야 중 하나로[9, 10] 이미지에서 자동차 번호판이라는 정보를 효과적으로 추출하기 위해 노이즈 제거, 이미지 각도 및 색 변환 등을 사용하여 번호판 인식처리에 활용하였고, 밝은 이미지뿐만 아니라 어두운 이미지도 실험하여 다양한 환경에서 효과적으로 인식처리 할 수 있도록 연구하였다. 특히, 본 논문에서는 YOLO를 적용하여 단계별로 Object Detection을 수행하였다.[11, 12]

YOLO 모델에 사진이 입력되면, 첫째, 그리드 영역으로 나누고, 네트워크 계층을 거쳐 둘째 Class별 분류를 Bounding box로 표시하여 결과를 얻을 수 있다. 마지막으로 그리드를 중심으로 사전 정의된 형태로 지정된 경계박스의 개수(Anchor Boxes)를 예측하고 이를 기반으로 신뢰점수(confidence score)를 계산하는 방식이다. 높은 객체의 신뢰점수를 가진 객체를 선택해 객체 카테고리를 파악하였다.

3. Image Processing과 데이터드리프트 적용 YOLOv4 적용 실험

3.1 Image Processing을 활용한 번호판 감지

OpenCV를 통해 작업하려는 이미지를 읽어오도록 진행한 후 번호판을 인식하기 위한 전처리 작업을 진행했다.[13, 14] 먼저 OpenCV에 cvtColor 라이브러리를 통해 컴퓨터가 잘 인식할 수 있는 회색 컬러로 변환하였다. StructuringElement를 사용하여 번호판을 잘 인식하기 위한 노이즈 제거를 위한 작업을 진행하였다.[15, 16] ‘StructuringElement’는 이미지 처리에서 모폴로지 연산에 사용되는 구조 요소를 정의하는 요소이며, 이미지에서 형태와 구조를 조작하는데 사용되고 주로 객체의 형태를 강조하거나 노이즈를 제거하는 데 활용하였다. 또한, GaussianBlur 함수를 사용하였다. 가우시안 블러는 이미지의 노이즈를 감소시키거나 이미지를 부드럽게 만들기위해 사용되며[17, 18], 주로 이미지 전처리 단계에서 노이즈 제거나 경계를 부드럽게 하는 데 유용하다. 그리고 FindContours 함수 적용을 통해 입력 이미지에서 객체의 외곽을 찾아내어 윤곽선을 반환하였고[19, 20], 이미지에서 찾아내고자 하는 정보는 자동차 번호판이므로 사각형의 자동차 번호판을 찾기 위해 BoundingRect(바운딩렉)을 사용하였다. 바운딩렉은 윤곽선을 감싸는 사각형의 좌표를 찾는 데 사용되며 그림에서 찾아진 윤곽선을 감싸는 최소 크기의 사각형을 얻을 수 있다. 이 사각형은 윤곽선이 감싸는 최소 영역을 나타낸다. 순서적으로 FindContours 함수를 사용하여 윤곽선을 찾은 후, BoundingRect를 사용하여 각 윤곽선을 감싸는 사각형을 계산하고, 기존 이미지를 사각형으로 그려 화면에 표시된다. 이후 Possible_contours 사각형 중 자동차 번호판일 가능성이 높은 것을 설정하여 번호판 인식 및 추출이 용이하도록 작업하게 된다. 일정한 조건을 설정 후 자동차번호판의 글자 간격과 사이즈가 유사한 특징을 갖는 사각형의 구조를 찾게 된다. 내부적으로는 WarpAffine을 통해 이미지에서 이동, 회전, 크기 조절 등의 변환을 위해 어파인 변환(Affine Transformation)을 적용 후 자동차 이미지가 측면 및 기울어진 형태로 촬영되었을 경우 정방향으로 이미지 변환하였다.[21, 22]

(그림 6) Image Processing 활용한 번호판 식별

(그림 7) OpenCV 활용한 번호판 인식 결과

3.2 YOLOv4를 활용한 데이터드리프트 적용

(그림 8) 데이터드리프트 적용화면

훈련된 YOLOv4 모델을 사용하여 실험한 결과 자동차를 100%의 정확도로 객체가 탐지되었고[23, 24], YOLO를 통해 객체 탐지된 자동차 번호판을 자동으로 추출하여 (그림 9)와 같이 탐지된 번호판을 이미지로 자동 저장되도록 하였다.

(그림 9) 탐지된 번호판 이미지가 저장된 화면

본 연구에서 사용된 데이터셋은 1920x1080 해상도의 주간 이미지 60%, 야간 이미지 30%, 우천시 촬영 이미지 10%로 구성되었으며, 다양한 각도와 거리에서 촬영된 총 15,000장의 이미지를 포함하였다. 실험은 NVIDIA RTX 3080 GPU 환경에서 수행되었으며, 정확도와 함께 정밀도, 재현율을 종합적으로 분석하였다

3.3 Image Processing과 YOLO Detection 실험결과

Image Processing과 YOLO을 활용하여 자동차 번호판을 인식율을 통한 데이터드리프트 필요성을 비교하였다.[25, 26] 이미지 처리는 자동차의 이미지를 사용하였고 YOLO의 경우는 노트북에 웹캠을 설치하여 실시간으로 진행하였다. 이미지 처리의 경우 100장의 자동차 이미지 데이터셋으로 실험 진행하여 객관성을 확보하였으며[27, 28], YOLO의 경우 주차장에서 주차되어있는 100대의 자동차를 대상으로 진행하였다.[29, 30] 이미지 처리를 사용하였을 경우 자동차 회사 로고 또는 자동차의 그릴 부분을 자동차 번호판으로 탐지하는 오류가 자주 발생하였으며[31, 32] 실험결과 59.2%로 나왔으며, YOLO의 경우는 원거리의 자동차는 잘 탐지가 되지 않았고 실험결과는 98.5%로 분석되었다.

<표 1> Image Processing과 YOLO Detection 실험결과

<표 2> 탐지된 번호판에서 숫자인식 분석결과

Image Processing의 경우 단순 배경에서는 높은 인식률을 보였으나, 복잡한 도로 환경이나 야간 조건에서는 자동차 제조사 로고나 차체 디자인 요소를 번호판으로 오인식하는 문제가 발생하였다. 반면 데이터드리프트가 적용된 YOLO 기반 방식은 다양한 환경 변화에도 98.5%의 높은 정확도를 유지하였다.

4. 결론

Image Processing의 번호판 인식은 대략 60% 정도의 정확도를 갖는 반면 YOLO를 적용했을 경우 번호판 인식은 약 98.5%를 보였으며, 원인으로 Image Processing 경우 기존 학습된 데이터없이 이미지 처리를 수행하였기 때문에 자동차의 그릴 및 자동차 회사로고를 번호판으로 인지하는 오류가 발생하였다. 하지만 데이터드리프트가 적용된 YOLO는 인식하고자 하는 객체를 사전 학습한 모델을 Training함으로써 인식률이 높아짐을 알 수 있었다. 결과적으로 데이터드리프트가 적용된 YOLOv4를 사용하여 자동차 번호판을 정확하게 추출하고 OpenCV의 전처리 작업을 통하여 이미지 개선 후 문자로 변환하면 자동자 번호판 식별률을 상당부분 개선시킬 수가 있음을 확인하였다. 지속적인 데이터드리프트 방지 연구를 통해 추후 한글 인식에서 발생되는 오류 부분들을 학습 적용하여, 한글 인식 부분도 정확하게 판독할 수 있는 자동차 번호판 인식 기술을 발전시키고자 한다. 또한, 향후 연구에서는 한글 문자 인식의 정확도 향상을 위한 데이터드리프트 방지기법 개선과 함께, 극단적 기상조건이나 오염된 번호판에 대한 처리 능력 강화 및 다중 카메라 환경에서의 통합 인식 시스템 개발을 통해 실제 현장 적용성을 높이고자 한다.