A Mechanism to profile Pavement Blocks and detect Cracks using 2D Line Laser on Vehicles

이동체에서 2D 선레이저를 이용한 보도블럭 프로파일링 및 균열 검출 기법

Abstract

In this paper, we propose an on-line mechanism that simultaneously detects cracks and profiling pavement blocks to detect the displacement of ground surface adjacent to the excavation in the urban area. The proposed method utilizes a 2D laser to profile the information about pavement blocks including the depth and distance among them. In particular, it is designed to enable the detection of cracks and portholes at runtime. For the experiment, real data was collected through Gocator, and trainng was carried out using Faster R-CNN. The performance evaluation shows that our detection precision and recall are more than 90% and the pavement blocks are profiled at the same time. Our proposed mechanism can be used for monitoring management to quantitatively detect the level of excavation risk before a large-scale ground collapse occurs.

본 논문에서는 배면의 지반 변형을 감지하기 위해 보도블럭 프로파일링과 균열을 동시에 검출하는 온라인 기법을 제안한다. 제안 기법은 2D 선레이저를 활용하여 이격 및 깊이 정보를 포함한 보도블럭 프로파일링이 가능하다. 특히 런타임에 수집된 선레이저의 데이터를 전처리하여 균열과 포트홀 탐지가 가능하도록 설계하였다. 실험을 위해 Gocator를 통해 실제 데이터를 수집하였고 Faster R-CNN를 활용하여 학습을 수행하였다. 성능평가 결과, 정밀도 및 재현율 기준 90% 이상을 보이며 프로파일링이 가능함을 보인다. 제안 기법은 대규모 지반붕괴 사고가 발생하기 이전에 굴착 위험도 수준을 정량적으로 감지하기 위한 모니터링 관리에 활용될 수 있다.

Ⅰ. 서론

최근 도시기능의 확장으로 도심지 굴착공사가 빈번하게 발생하고 있다. 이러한 도심지 굴착공사는 배면의 지반 변형을 유발시킬 수 있다. 지반 변형으로 인한 도로나보도블럭의 크랙 또는 포트홀은 많은 위험이 따르고 있어 각별한 관리가 필요하다. 보행자의 안전을 위해서는 여러 위험지역의 불안전한 요소를 인지하여 안전하게 도로 환경을 유지하여야 한다^[1]. 이러한 사고를 막기 위한 관리 방안으로 도로 혹은 보도블럭의 모니터링과 균열탐지 연구가 진행되고 있다. 특히 균열을 탐지하고 관리하기 위해 드론으로 촬영된 항공사진을 이용하여 관리하는 기법^[2]과 차량에 탑재한 카메라를 통해 관리하는 기법 ^[3] 등 많은 방법이 제안되고 있으며, 그중에서 영상처리와 R-CNN 계열을 이용한 인공지능 방식이 연구되고 있다.

R-CNN에는 Fast R-CNN, Faster R-CNN, Mask R-CNN 총 3가지의 종류가 있으며 본 논문에서는 Faster R-CNN을 ResNet 구조를 백본(Backbone)으로 활용하였다. Faster R-CNN은 기존의 Fast R-CNN에서 Region Proposal의 수행시간이 다른 동작보다 상대적으로 느려 병목현상이 발생하는 문제를 해결하기 위해 해당 동작을 RPN이라는 네트워크를 통해 GPU에서 수행하도록 하여 속도를 높힌 방식이다.

기존의 모니터링 기법과 균열 탐지 기법은 모두 필요한 작업이지만 동시에 수행되지 못한다는 한계점이 존재한다. 본 논문에서는 이러한 문제점을 해결하기 위해 카메라를 이용한 영상처리가 아닌 2D 선레이저를 이용한보도블럭 균열 검출 방식을 제안한다. 2D 선레이저를 이용하여 보도블럭의 균열을 검출할 경우 기존의 영상처리기법과는 다르게 프로파일링이 완료된 상태로 측정한 영역의 모든 깊이 정보를 가지고 있기 때문에 해당 보도블럭과 균열의 깊이 정보를 정량적으로 파악할 수 있다.

본 논문의 구성은 다음과 같다. 2장에서는 본 논문과 관련된 연구를 소개하고, 3장에서 온라인 방식의 보도블럭 프로파일링 및 균열 검출 기법에 대하여 설명하며 4 장에서는 학습된 모델에 관한 결과를 확인하고 5장에서 결론을 맺는다.

Ⅱ. 관련연구

대부분의 단순 노면 모니터링의 경우 GPR 기반, 진동 및 가속도 센서 기반, LiDAR 또는 선레이저 등을 이용하여 노면의 상태를 확인하는 것에 집중되어 있다. GPR 측정 기법은 전자기파의 전파와 반사의 성질을 이용하여 포장도로의 균열 및 장애물과의 거리를 측정하지만 잘 보이는 균열을 약하게 감지하거나 얇은 균열을 강하게 감지하는 등의 오류가 있어 정확도가 낮은 편이다^[4]. 진동 센서의 경우 Yu et al.^[5]는 진동 센서를 이용하여 차량이 도로의 균열이나 노면의 바퀴 자국 등을 지나갈 때 발생하는 충격과 흔들림을 측정하여 포장도로의 상태를 저장하고 분석하여 노면 상태를 측정하는 방법을 제안하였다. 또한, Mednis et al.^[6]는 스마트폰에 내장 되어있는 가속도 센서를 이용하여 노면의 이상을 감지하는 방법을 제안하였다. 차량이 노면의 포트홀을 지나갈 때 스마트폰의 가속도 센서에서 감지한 데이터를 분석하여 사용자에게 노면 상태를 제공한다. 하지만 이러한 충격이나 흔들림으로는 도로의 균열, 바퀴 자국, 포트홀 등을 구분하기 어렵고 작은 균열 등은 센서의 더 정밀한 성능을 요구한다. Kim et al^[7]는 LiDAR를 이용하여 포트홀을 감지하는 시스템을 제안하였다. LiDAR 장비는 레이저 펄스를 지표면에 발사하고 반사 파형을 기록하여 각 레이저빔에 대한 파형을 처리하기 때문에 정밀도가 높은 편이다. 하지만, LiDAR의 속도가 2.7km/h의 속도로 제공되고 초당 5.5회 회전으로 고속은 불가능하며 1.08km/h 이동 시 20%, 2.7km/h 이동 시 50%의 에러율을 보여 실시간성과 정확성 면에서 현저히 성능이 떨어진다. Cheng et al^[8]는 레이저 스캐닝 기법을 이용하여 도로의 연석과 경계 감지 기법을 제안하였으며 분류를 통해 도로 경계부분과 도로 표면을 추출하고 포인트 클라우드를 사용하여 도로를 표시하였다.

균열 검출은 대부분 차량 혹은 드론을 통해 얻은 영상과 인공지능을 통해 수행된다. Fast R-CNN과 600여 장의 영상 데이터를 통해 도로의 균열을 탐지하는 연구^[9]가진행되고 있으며, 드론을 이용하여 2D 스캔, 이미지 등 방식을 이용해 건축, 기계 등 여러 제작에 활용하고 있다 ^[10]. 이러한 드론 기술과 Mask R-CNN을 통해 항공에서 도로를 촬영한 영상을 통해 70% 이상의 분류 정확도를 얻은 연구^[11] 등 R-CNN을 이용한 연구들과 단순 CNN 을 이용하여 정상상태, 수직크랙, 수평크랙, 포틀홀, 지역 크랙 총 5가지로 분류한 연구^[12] 또한 존재한다.

기존에 노면 표면 데이터와 위치데이터를 정합하여 종 /횡방향 프로파일이 가능한 실시간 노면 모니터링 시스템^[13]을 구현하였으며 본 논문에서는 2D 선레이저를 이용하여 보도블럭의 프로파일링을 통한 온라인 모니터링과 균열 검출 두 기능을 동시에 수행할 수 있는 기법을 제안한다.

Ⅲ. 온라인 보도블럭 프로파일링 및 균열 검출 기법

1. Faster R-CNN

본 논문은 Python과 Keras 라이브러리를 기반으로 구현된 Faster R-CNN 모델을 이용하였다. 이용한 모델은 Github의 you359 페이지^[14]에서 제공하는 코드를 받아 수행하였다.

기존의 Fast R-CNN은 선택적 탐색 (Selective search) 알고리즘을 통해 생성한 Region Proposal을 각각 CNN 네트워크를 통과하여 예측하는 방식을 사용하여 수행시간이 오래 걸린다는 문제가 있다. Faster R-CNN은 이러한 문제를 해결하기 위해 기존 선택적 탐색 알고리즘을 이용해 수행하던 동작을 RPN이라는 네트워크를 통해 GPU에서 수행하도록 하여 속도를 높힌 방식이다.

학습에 사용된 데이터는 모두 2D 선레이저^[15]를 이용하여 직접 수집하였으며, 수집된 데이터는 3차원의 구조를 가지고 있으며, 2D 선레이저가 프로파일링을 통해 모든 깊이 정보를 가지고 있어 다음 그림 1(a)과 같이 3D 로 시각화 할 수 있다.

그림 1. 측정 데이터 및 전처리 후 데이터

Fig. 1. Measurement data and pre-processing data

2. 데이터 전처리

2D 선레이저를 통해 수집한 데이터는 프로파일링이 되어 모니터링에 적합하지만, R-CNN의 입력 데이터로 사용하기에는 적합하지 않아 총 3번의 전처리 과정을 거치게 되는데 그 결과가 그림 1(b)와 같다.

2D 선레이저로 수집한 데이터는 노면에 대한 정보를 가로 방향의 x 좌표와 해당 x 좌표에 대한 깊이 정보 z 값으로 구성되어 2차원의 데이터를 시간에 따라 라인 정보로서 사용자에게 제공한다. x 좌표의 경우에는 0.27mm의 동일한 간격을 가지며, 지면으로부터의 높이에 따라 얻을 수 있는 점의 수가 가변적으로 변하며 최대높이에서 4446개의 점을 얻을 수 있다. 현재 데이터 수집 환경에서 얻어지는 점의 수는 평균적으로 1600개의 점이 수집되었으며, 이를 딥러닝의 데이터셋으로 사용하기 위해 1700개를 각각 부족한 만큼 제로패딩하여 통일시켰다. 그 후 노면을 스캔하던 도중 빛 혹은 이동 등등 여러 요인에 의하여 x 좌표가 측정 되지 않는 구간이 있다. 이러한 구간은 앞, 뒤 점들의 평균값을 이용하여 보강하는 전처리를 진행했다. 마지막으로 이러한 데이터를 R-CNN에 쉽게 적용할 수 있도록 가로 방향과 시간에 따른 라인 정보를 축으로 하여 각 픽셀마다 z 값을 가지는 이미지로 만들어 데이터셋으로 사용하였다.

3. 학습 데이터 라벨링

본 논문에서 분류할 데이터 종류는 보도블럭 사이의 정상적인 이격 Non Crack과 라인 형태로 생긴 균열 Line Crack, 그 외의 구멍이나 깨진 균열 Local Crack 총 세 가지로 데이터를 분류하였다. 표 1은 데이터 유형에 따라 실제 이미지와 수집된 포인트 클라우드를 보인다.

표 1. 데이터 분류

Table 1. Data type

학습을 위해 Non Crack 200개, Line Crack 130개, Local Crack 130개 총 460개의 데이터를 이용하였다. 그림 2와 같이 학습 데이터 생성을 위해 XML 형태의 PASCAL VOC 포맷으로 가공하여 사용하였으며 해당 포맷으로 라벨링을 해주는 도구^[16]를 이용하여 데이터셋을 제작하였다.

그림 2. 이미지 라벨링 도구

Fig. 2. Image labeling tool

Ⅳ. 실험 및 결과

ResNet 백본을 이용하여 총 2000 epoch의 학습을 진행하였으며 모델 검증에 사용된 데이터는 Non Crack, Line Crack, Local Crack 각각 50개의 데이터를 이용하였다. 학습이 완료된 모델의 평가 결과는 표 2와 같다.

표 2. 실험 결과

Table 2. Experimental results

정밀도(Precision)는 모델이 참이라고 분류한 것 중 실제로 참인 것의 비율이며 재현율(Recall)은 실제 참인 것 중 모델이 참이라고 예측한 것의 비율이다. 모델 학습 결과 각 데이터 유형에 대한 정밀도와 재현율 모두 90% 이상의 결과를 얻었다. 학습이 완료된 심층 신경망의 수행 결과는 그림 3과 같다.

그림 3. Profiling and Classification result using Faster R-CNN

Fig. 3. Faster R-CNN을 이용한 분류 및 프로파일링 결과

탐지된 영역과 그 영역의 종류와 확률이 표시되며, 우측 상단에는 2D 스캐너로 얻을 수 있는 프로파일링 된 정보를 활용하여 각 보도블럭의 평균 이격, 평균 높이, 최대, 최소 높이가 표시된다. 또한, 정상적인 블록의 샘플 수를 함께 나타내어 지반 변형의 위험도 예측 시 활용할 수 있도록 하였다.

Ⅴ. 결론

본 논문에서는 보도블럭에 대하여 2D 선레이저 기반의 프로파일링을 통한 모니터링과 Faster R-CNN을 통한 균열 탐지 두 동작을 동시에 수행 가능한 기법을 제안했다. Faster R-CNN 모델 학습 결과 정밀도 및 재현율 기준 90%이상의 정확도를 보인다. 향후 데이터셋을 추가하여 추가 학습을 진행하는 방식으로 보완하여 보도블럭의 균열을 빠르게 탐지하고, 해당 블럭과 균열에 대하여 프로파일링을 수행하여 더욱 민감하게 대처할 수 있을 것으로 기대한다.