A Deep Learning-Based Image Recognition Model for Illegal Parking Enforcement

불법 주정차 단속을 위한 딥러닝 기반 이미지 인식 모델

Abstract

Recently, research on the convergence of drones and artificial intelligence technologies have been conducted in various industrial fields. In this paper, we propose an illegal parking vehicle recognition model using deep learning-based object recognition and classification algorithms. The model of object recognition and classification consist of YOLOv8 and ResNet18, respectively. The proposed model was trained using image data collected in general road environment, and the trained model showed high accuracy in determining illegal parking. From simulation results, it was confirmed that the proposed model has generalization performance to identify illegal parking vehicles from various images.

최근 다양한 산업 분야에서 드론과 인공지능 기술이 융합된 연구 사례가 진행되고 있다. 본 논문에서는 딥러닝 기반 객체 인식과 객체 판별 알고리즘을 이용하여 불법 주정차 차량 인식 모델을 제안한다. 객체 인식 알고리즘은 YOLOv8를 사용하였으며, 객체 판별 알고리즘은 ResNet18을 사용하였다. 제안된 모델은 일반 도로 상황에서 수집한 이미지 데이터를 이용하여 모델 학습을 수행하였고, 학습된 모델은 이미지 기반 불법 주정차를 판별하는데 높은 정확도를 보였다. 이를 통해 제안된 모델은 다양한 이미지로부터 불법 주정차 차량을 식별하기 위한 일반화 성능을 갖추고 있음을 확인하였다.

Ⅰ. 서론

불법 주정차 차량은 도시 교통 시스템에서 심각한 문제를 일으키는 주요 요인 중 하나이다. 불법 주정차 차량은 교통 체증, 안전 문제 등을 유발하는 요소이며, 이를 해결하기 위해 CCTV를 사용하여 단속하거나 인력에 의한 불법 주정차 단속이 시행되고 있다.

불법 주정차 차량 단속은 인력을 사용하는 방식과 장비를 사용하는 방식으로 이루어진다. 인력에 의한 방식은 공무원이 위반 사항을 기록하고 과태료를 부과하는 방식이다. 장비에 의한 주정차 차량 단속은 고정식 단속 장비와 이동식 단속 장비로 나누어진다. CCTV와 같은 고정식 단속 장비는 24시간 단속을 수행하여 시간 제약으로부터 자유로워지는 장점을 갖고 있지만, 단속 범위 제한과 사각지대 문제가 존재한다. 고정식 단속 장비의 한계를 보완하기 위해 이동식 단속 장비를 이용한 방식이 있다. 그러나 이동식 단속 장비는 단속 범위의 확장과 사각지대의 문제점을 해소할 수 있지만 단속을 수행하기 위해서는 인력이 동원되기 때문에 단속 횟수가 제한된다.

최근 인공지능(Artificial Intelligence)을 이용한 이미지 인식 기술이 드론 산업에 도입되면서 드론을 활용한 미디어, 재난 탐사, 건설, 산불 진화, 보안, 항공 측정, 물류 등 민간 시장에서 활용성이 확대되고 있으며 효율성 또한 입증되고 있다^[1-5]. 드론을 활용한 불법 주정차 단속은 단속 범위와 시간에 제약이 없다는 장점을 갖고 있으며, 이러한 장점을 활용한 차량 번호판 인식과 유휴 주차면 인식 등의 연구가 진행 중이다^{[6, 7]}. 그러나 번호판을 인식하는 모델로는 주차된 차량이 불법 주정차 되어있는지 판단할 수 없다는 한계점이 존재한다. 따라서 이러한 한계점을 개선하기 위해 불법 주정차가 확인된 차량의 번호판을 인식하는 것이 아닌, 주정차 된 차량이 불법으로 주차되어있는지 판별하는 모델을 설계했다.

본 논문에서는 딥러닝 기반 이미지 인식 모델을 활용한 차량 인식과 차선을 추출하여 불법 주정차 차량 판별 모델을 제안한다. 제안된 모델은 도로 상황에서 수집한 이미지 데이터를 이용하여 모델을 학습하고, 불법 주정차 단속을 수행하기 위해 수집된 다양한 촬영 이미지 데이터를 통해 모델 성능을 검증했다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 본 논문에서 제안하는 딥러닝 기반 주정차 단속 모델의 시스템 구성을 설명한다. Ⅲ장에서는 제안한 모델의 학습을 수행하기 위한 시뮬레이션 환경을 설명하고, Ⅳ장에서는 실제 도로에서 불법 주정차 위반 여부를 수행하는 모델의 성능 평가를 했다.

Ⅱ. 시스템 모델

1. 딥러닝 기반 불법 주정차 단속 모델

본 논문에서 제안된 딥러닝 기반 불법 주정차 단속 모델은 YOLOv8과 ResNet18으로 구성된다. 시스템 모델의 전반부는 차량 인식을 위해 객체 탐지 알고리즘 중 실시간 데이터 처리에 효율적인 YOLOv8을 적용한다. 그리고 시스템 모델의 후반부는 차량 판별을 위해 기존에 적용된 VGG16 네트워크가 가지는 기울기 소실 문제를 극복하기 위해 ResNet18 네트워크를 적용했다.

2. YOLOv8 기반 객체 탐지 모델

YOLO 는 이미지, 비디오 영상에서 다중 객체를 탐지하고, 탐지된 객체의 경계 상자(Bounding Box)와 클래스 레이블을 예측하는 모델로 사용된다.

YOLOv1이 2015년에 소개된 이래로 2023년 기준 YOLOv8까지 공개되었다^[8]. YOLOv8은 YOLOv5를 기본으로 하여 모델 구조를 최적화한 모델이며, 1개의 백 본 네트워크에 두 개의 중복 헤더를 가지는 구조로 개량되었다. YOLOv8 모델은 5개의 세부 모델인 YOLOv8n-seg, YOLOv8s-seg, YOLOv/m-seg, YOLOv8l-seg 그리고 YOLOv8x-seg로 구성된다. 표 1은 5종류의 YOLOv8 모델별 COCO 데이터셋에 대한 세그멘테이션 성능을 보여준다. COCO 데이터셋이란 컴퓨터 비전 작업을 위해 널리 사용되는 오픈 라이선스의 대규모 이미지 데이터 셋으로, 성능 평가의 목적으로 사용된다. 이러한 특성으로 COCO 데이터셋을 본 논문에서 제안된 주정차 차량과 차선 인식 모델의 평가의 지표로 사용하였다. 5개의 세부 모델 중 학습 가중치와 매개 변수 개수, 연산량을 고려하여 YOLOv8s-seg 모델을 사용했다.

표 1. YOLOv8 모델별 COCO 데이터셋 성능 비교분석.

Table 1. Comparative analysis of COCO dataset performance by YOLOv8 models.

YOLOv8 모델은 그림 1과 같이 이미지를 그리드로 분할 후 신경망에 통과시킨 뒤, 경계 상자 계산과 예측 등을 통한 기법으로 최종 감지 출력을 생성한다. YOLO 모델은 경계 상자를 계산하기 위해 IoU (Intersection over Union)와 NMS (Non-maximum Suppression)의 주요 후처리 기법을 사용한다. IoU는 모델이 예측한 경계 상자와 실제 객체의 경계 상자의 겹침의 정도를 의미한다. NMS는 감지된 객체 중 확률이 가장 높은 객체를 선택하고 겹치는 다른 객체들을 제거하는 과정을 의미하며, 객체 알고리즘의 특정 개체를 과도하게 식별하는 문제를 완화하기 위해 사용된다.

그림 1. YOLOv8 모델 학습 방식.

Fig. 1. Process of YOLOv8.

3. ResNet 기반 객체 판별 모델

ResNet18 (Residual Network)은 2015년 Kaiming He이 발표한 논문에서 제안된 딥러닝 모델이다^[9]. ResNet18은 분류 작업을 수행하는 대표적인 딥러닝 알고리즘으로 네트워크의 깊이가 증가할수록 발생하는 기울기 소실 문제를 보완하여 성능이 향상되는 것을 입증했다.

ResNet18은 잔차 블록 (Residual Block) 구조로 구성되며, 입력(x)과 이전 레이어의 출력값을 잔차 블록에 더하여 최종 출력값을 얻는다. ResNet18은 그림 2와 같이 skip connection을 통해 미분 값으로 1을 갖는 입력값 x를 더해 기울기 소실 문제를 극복하였다. 본 논문에서는 skip connection을 이용하여 네트워크의 학습량을 해결한 ResNet18을 불법 주정차 객체 판별 모델로 사용했다.

그림 2. 잔차 학습: 기본 구성 요소.

Fig. 2. Residual Learning: A Building Block.

Ⅲ. 시뮬레이션 결과

1. 시뮬레이션 세팅

본 논문에서는 차량과 차선 탐지 모델 학습을 위해, AIHub에서 공개한 차로 위반 영상 데이터셋을 활용하였다. 차로 위반 영상 데이터셋에는 주정차 위반, 차선 변경, 중앙선 침범 등 도로 규정 위반 사항 이미지로 구성된다. 본 논문에서는 불법 주정차 탐지 모델을 학습시키기 위한 주정차 위반 이미지만 선별하여 사용하였다.

2. 성능 지표

차량 및 차선 인식 모델 학습 단계에서는 YOLOv8s-seg 모델을 사용하였다. 불법 주정차 위반 모델은 학습을 수행하기 위해 차량과 차선의 세그멘테이션 정보를 이용하여 마스킹 이미지를 생성하였다. 마스킹 이미지를 생성하는 과정에서 차량과 차선이 겹치는 부분이 존재하면 어노테이션 데이터에서 차량과 차선의 종류를 불러와 주정차된 차량이 ‘위반’인 경우와 ‘위험’인 경우를 색을 다르게 지정한다. 그림 3의 a)는 주정차 위반 차량의 원본 이미지이고, b)는 ResNet18 모델 학습을 이용하여 주정차 위반 여부를 판단하기 위해 생성한 마스킹한 이미지를 나타낸다.

그림 3. 주정차 위반 차량의 원본 이미지와 마스킹 이미지.

Fig. 3. Masking and Original Image of Illegal Parking.

그림 4. 딥러닝 기반 불법 주정차 판단 모델 학습 과정.

Fig. 4. Deep learning-based Illegal Parking Enforcement Model Learning Process.

본 논문에서는 차량 및 차선 인식 모델의 학습 파라미터는 batch-size 32, epoch 100으로 설정하였다. ResNet18 기반 주정차 위반 탐지 모델의 학습 파라미터는 batch-size 256, epoch 20으로 학습을 진행하였다.

Ⅳ. 실험 결과

1. 불법 주정차 단속 모델 실험

불법 주정차 및 차선 인식 모델의 적용 단계에서는 이미지가 주어졌을 때, YOLOv8 기반 차량 인식 모델과 차량 인식 모델을 통해 객체를 인식한다. 객체를 인식하여 예측한 차량과 차선의 종류, 좌표 데이터와 세그멘테이션 좌표 데이터를 얻을 수 있다. YOLOv8 기반 객체 인식 모델을 통해 생성된 마스킹 이미지로 차량의 주정차 위반 여부를 판단하였다. 그림 5는 불법 주정차된 차량의 위반 판별 결과를 나타낸다.

그림 5. 불법 주정차 차량 위반 여부 판별 결과.

Fig. 5. Result of Determining Illegal Parking.

2. YOLOv8 기반 차량 및 차선 인식 모델 성능

그림 6(a) 와 그림6(b)는 각각 YOLOv8 기반 차량 인식 모델과 차선 인식 모델 학습 성능을 나타낸다. 차량 인식 모델은 epoch가 증가할 때마다 모델 성능이 향상되었음을 확인할 수 있다.

그림 6. 차량과 차선 인식 모델 학습 결과.

Fig. 6. Simulation Results of Vehicle and Lane Recognition Model.

차선 인식 모델은 세그멘테이션 손실(seg-loss)과 클래스 손실(cls-loss)이 학습이 완료될 때까지 감소하는 경향을 보이며, 학습이 진행됨에 따라 차선 위치 인식과 차선 종류를 분류하는 성능이 향상되었음을 확인할 수 있다.

3. Resnet18 기반 불법 주정차 위반 판별 모델 성능

본 논문에서는 불법 주정차 위반 편별 모델 성능을 평가하기 위해 F1_score를 사용하였다. F1_score는 분류 모델의 성능을 평가하기 위해 사용되는 지표로, 재현율과 정밀도의 조화평균을 의미한다. 정밀도는 모델이 양성으로 예측한 것 중에서 실제로 양성인 것의 비율을 나타내는 지표이며, 재현율은 실제 양성 중 모델이 양성으로 정확하게 예측한 비율을 나타낸다. 수식(1)은 F1_score를 재현율과 정밀도를 이용하여 구하는 식을 나타낸다^[10]

\(\begin{align}F 1\_\text {score}=\frac{\text { recall } \times \text { precision }}{\text { recall }+ \text { precision }}\end{align}\).       (1)

표 2는 제안한 모델에서 마스킹 된 차량과 차선 정보를 이용하여 도로에 주차된 차량의 위반 여부를 정상(Normal), 위험(Danger), 위반(Violation)으로 판단한 것에 대한 F1_score 값을 나타낸다.

표 2. 위반 탐지 모델의 클래스별 성능 지표 (F1 score).

Table 2. F1_score for each class of models.

실험 결과, 정의된 클래스에서 F1_score가 모두 0.8 이상의 분류 정확도를 얻었다. F1_score가 0.7 이상이라면 분류 정확도가 높음을 의미하므로 제안된 모델의 분류 정확도가 높음을 확인할 수 있다.

그림 7. 제안한 모델을 통한 불법 주정차 단속 결과.

Fig. 7. Simulation Results of Proposed Model.

Ⅳ. 결론

본 논문에서는 주정차 된 차량이 불법으로 주차되어있는지 판별하는 모델을 설계하기 위해 YOLOv8과 ResNet18을 이용한 모델을 제안했다. 본 논문에서 제안한 모델은 실제 도로 상황에서 수집한 이미지 데이터를 이용하여 모델을 학습했다. 학습 결과 F1_score가 0.8 이상의 분류 정확도를 얻었다. 불법 주정차 단속을 수행하기 위해 수집된 다양한 촬영 이미지 데이터를 통해 불법 주정차 차량을 식별하기 위한 일반화 성능을 갖추고 있음을 확인하였다.