Development of a deep learning-based cabbage core region detection and depth classification model

딥러닝 기반 배추 심 중심 영역 및 깊이 분류 모델 개발

Abstract

This paper proposes a deep learning model to determine the region and depth of cabbage cores for robotic automation of the cabbage core removal process during the kimchi manufacturing process. In addition, rather than predicting the depth of the measured cabbage, a model was presented that simultaneously detects and classifies the area by converting it into a discrete class. For deep learning model learning and verification, RGB images of the harvested cabbage 522 were obtained. The core region and depth labeling and data augmentation techniques from the acquired images was processed. MAP, IoU, acuity, sensitivity, specificity, and F1-score were selected to evaluate the performance of the proposed YOLO-v4 deep learning model-based cabbage core area detection and classification model. As a result, the mAP and IoU values were 0.97 and 0.91, respectively, and the acuity and F1-score values were 96.2% and 95.5% for depth classification, respectively. Through the results of this study, it was confirmed that the depth information of cabbage can be classified, and that it can be used in the development of a robot-automation system for the cabbage core removal process in the future.

본 논문에서는 김치 제조 공정 중 배추 심 제거 공정의 로봇 자동화를 위한 배추 심 영역 및 깊이를 판별하는 딥러닝 모델을 제안하는 것이다. 또한 계측된 배추의 심 깊이를 예측하는 것이 아닌 discrete 클래스로 변환하여 영역 검출 및 분류를 동시에 하는 모델을 제시하였다. 딥러닝 모델 학습 및 검증을 위하여 전처리 과정을 거지치 않고 수확된 배추 522 포기에 대한 RGB 영상을 획득하였다. 획득한 영상으로부터 심 영역 및 깊이 라벨링 그리고 데이터 증강 기법을 적용하였다. 제안하는 YOLO-v4 딥러닝 모델 기반 배추 심 영역 검출 및 분류 모델의 성능을 평가하기 위하여 mAP, IoU, accuracy, sensitivity, specificity 그리고 F1-score로 선정하였다. 그 결과 배추 심 영역 검출은 mAP 그리고 IoU 값이 각각 0.97 그리고 0.91로 나타났으며, 심 깊이 분류의 경우 accuracy 그리고 F1-score 값이 각각 96.2% 그리고 95.5%로 나타났다. 본 연구 결과를 통하여 배추의 심 영역 검출 및 깊이 정보 분류가 가능하며, 추후 배추 심 제거 공정의 로봇-자동화 시스템 개발에 활용될 수 있는 가능성을 확인하였다.

1. 서론

최근 식품 제조 산업에서 노동력의 고임금화와 수요자의 품질 기대 수준의 향상으로 인하여 기업이 경쟁력을 갖추기 위해 자동화에 대한 설비투자가 필수적으로 되었다[1]. 생산공정을 자동화하여 제품의 품질과 균일성의 향상, 생산공정의 관리개선, 원료의 관리, 노동력의 절감, 생산능력의 증대, 작업 안정성 향상, 작업환경 개선 등에 크게 기여할 수 있다[2].

현재 중소규모의 김치 제조 기업들은 여전히 작업자 중심의 공정을 수행하고 있다[3]. 김치공장의 노무비 비중은 제조원가의 15-30%를 차지하여 식료품 제조업의 노무비 평균 비중인 7%에 비하면 매우 높은데, 이는 제조 공정 대부분이 수작업으로 이루어지기 때문이다[4]. 이에 비해 식품 제조 공정에서 기존 수작업 공정보다 자동화 공정 도입 시 생산성, 품질, 수익성을 향상시킬 수 있으며[5], 작업자가 위험 구역에 접근할 필요가 없으므로 본질적으로 안전성이 향상되고 수작업 공정보다 작업자 수가 적기 때문에 산업재해 위험에 노출되는 작업자가 잠재적으로 더 적어 안전성도 높아진다[6].

기업에서는 실제로 균일한 품질의 김치를 대량 생산하기 위해 배추를 절단하고, 세척하며, 탈수하는 등의 다양한 전처리 기계 설비를 사용하고 개발하고 있다[7]. 김치 원료의 종합적인 생산 및 품질관리를 위해 절임 공정을 스마트화하는 연구도 수행되었다[8]. 특히 배추 심 제거 자동화 장치의 경우 여러 건의 국내 특허가 출원되어 있다[9-11].

오늘날 식품제조산업에서 원료의 전처리 공정의 자동화와 효율적인 공정 관리를 위해 영상처리 기술을 도입하고 있다[12]. 또한 식품산업에서 인공지능 및 기계학습 기술 도입은 효율적인 식품 생산 및 식품안전 개선을 혁신하였다[13]. 영상처리 기술을 기반으로 배추 심의 위치와 크기를 인식하여 배추 심제거 공정에서 배추의 수율을 증가시켜 김치 제조원가를 낮출 수 있는 연구도 진행되었으며[14], ResNet-101 backbone 기반 Mask R-CNN을 활용하여 양배추 이미지에서 객체 특정 및 부피 계산에 대한 활용을 제시했다[15]. 영상 처리 장치 및 딥러닝 기반 You Only Look Once(YOLO)-v5 알고리즘을 활용하여 사과 자동 적재 시스템에서 줄기 및 꽃받침을 실시간 인식하여 자동화 공정에 활용하는 연구들이 보고되었다[16]. 또한 수확이 완료된 과일의 외관 결함을 YOLO-v5 모델을 활용하여 불량 선별 및 등급 판정에 기술 지원을 제공하는 연구도 보고되었다[17].

식품 제조 공정 중 원료 전처리 과정에서 비가식 부위 제거 공정을 개선하기 위해 영상 처리 기술 및 인공지능을 활용한 연구는 불충분한 상태이다. 본 연구에서는 배추 심의 단면적을 영상 장비로 인식하여 딥러닝 모델을 기반으로 배추 심의 영역을 검출하였고, 이를 통해 2차원 영상 정보를 통하여 비가시적인 심의 깊이를 예측할 수 있다는 것을 도출하였다. 또한 딥러닝 기반으로 배추의 심 중심 및 깊이를 예측하여 배추 심 제거 공정 자동화에 기반이 되는 핵심 기술을 제시하였다.

2. 재료 및 방법

2.1 실험 재료

배추 심의 영상 데이터를 취득하기 위해 실험 시기(7, 8월)에 도매시장에서 구할 수 있는 고랭지 배추를 구매하여 실험을 진행했다. 총 522포기를 구매하여 3–4일 간격으로 5번에 나누어 실험을 진행하였다.

안정적인 영상 데이터 취득을 위해 배추 고정 프레임을 제작하여 일정한 조건의 영상 데이터를 수집하였다. 고정 프레임은 길이 400mm, 너비 250mm, 높이 250, 두께 2mm의 SUS 재질이며, 배추 밑면과 중단부를 촬영할 영상 촬영 장치를 부착할 수 있는 브래킷을 추가하여 일정한 구도로 배추의 촬영이 가능하게끔 하였다. 내외부에는 반사된 조명의 영향을 최소화하기 위해 무광 흑색으로 코팅하여 제작하였다(그림 1).

그림 1. 배추 영상 촬영을 위한 제작 틀

Fig. 1. Imaging framework for taking picture of cabbage

2.2 데이터 획득

2.2.1 영상 데이터

배추 고정 프레임에 배추의 밑면 및 절단면을 촬영할 수 있게 영상 촬영 장비를 설치하였다(그림 2). 배추 고정 프레임 내부 중앙에 배추를 위치시킨 후 배추 밑면에 설치된 영상 촬영 장치로 촬영하였다. 이후 배추를 심 중심을 기준으로 절단하여 절단면이 윗면으로 위치하게끔 하여 배추 고정 프레임 내부 중앙에 다시 위치하였다. 중단부에 위치한 영상 촬영 장치로 배추의 절단면을 촬영하였다.

그림 2. 배추 영상 데이터 획득

Fig. 2. Cabbage image data acquisition

2.2.2 배추 특성 데이터

배추는 통배추 상태에서 배추의 길이(구고), 너비(구폭), 심의 너비(심폭), 생체중을 측정하고 영상 데이터를 취득한 후 절단된 상태의 배추에서 심도를 측정하였다.

2.3 데이터 전처리

영상 촬영 장비로 배추 밑면 및 절단면 촬영 시 배추 위치는 사용자와 상황에 따라 다르므로 취득한 영상 데이터는 Matlab의 Image labeler를 활용하여 ROI(Region Of Interest)를 설정하였다.

배추 밑면 영상에서 ROI는 심의 영역, 심의 중심점, 심의 단면적으로 결정하고 각각 rectangle, 심 중심의 x, y coordinate, polygon으로 지정했다. 배추 절단면 영상의 ROI는 심의 영역, 최대 심폭, 최대 너비로 하고 각각 polygon, line으로 지정하였다.

영상 촬영 장비 촬영한 배추 원 영상의 사이즈는 4000 x 3000 x3이다. 본 연구에서 배추 심 중심 영역과 깊이를 분류하기 위해 활용한 YOLO-v4 딥러닝 모델의 backbone CSPDarkNet53-coco이다. 따라서, 원 영상 사이즈를 원 영상에서 적용한 backbone의 input으로 활용되기 위하여 608 x 608 x 3으로 변환하였으며, 라벨링된 배추 심의 깊이 값은 가로 6.58, 세로 4.93 비율로 줄였다.

다음은 배추의 심 깊이를 예측하기 위하여, 영상에서 라벨링된 심의 pixel 값을 discrete class로 변환하였다. 이는 기존 심의 깊이 값을 예측하는 regression 기법이 아닌 분류기를 활용하기 위하여 최대 심 깊이 pixel 값을 10개 class로 변환하였다. 예를 들어, 라벨링된 배추 심 깊이 pixel 값이 15라고 한다면 이를 클래스 8로 라벨링을 변환하였다.

아래 그림 3과 같이 라벨링된 밑면 영역과 배추 절단면에서의 심 깊이 정보는 본 연구에서 적용한 YOLO-v4 딥러닝 모델 학습 및 검증 결과에 활용하였다.

그림 3. 배추 RGB 이미지 영역 및 깊이 라벨링

Fig. 3. Cabbage RGB image region and depth labeling

2.4 영상 증강

딥러닝 모델은 수백만 개의 파라미터를 가지고 있으며, 매우 큰 규모의 데이터 세트를 필요로 한다. 그러나 많은 경우에는 충분한 양과 질의 데이터를 확보하기 어렵다. 데이터 증강은 데이터의 다양성과 양을 늘려서 모델의 학습을 돕는다. 또한 훈련 데이터에 임의의 변형을 적용하여 모델이 데이터의 핵심 특징을 학습하고 일반화 능력을 향상시키는 데 도움이 된다[18]. 본 연구에서는 획득한 원 영상 데이터의 양을 딥러닝 모델 학습 과정에서 증가시키기 위하여 3가지 영상 증강기법을 적용하였다. 첫 번째, horizontal flip, 두 번째 random X/Y scaling 그리고 세 번째 jittering 기법을 적용하여 원 영상의 개수가 기존 522개에서 2088개로 증가하였다(그림 4).

그림 4. 배추 RGB 영상 데이터 증강 결과

Fig. 4. Cabbage RGB image data augmentation

2.5 배추 심 중심 및 깊이 분류 딥러닝 모델

앞서 언급한 바와 같이 변환된 영상과 출력 정보값을 기반으로 YOLO-v4 모델을 활용하였다. YOLO-v4 물체 인식 네트워크는 backbone, neck 그리고 head 총 세 개의 파트로 구성되어 있다. Backbone은 사전에 학습된 convolutional neural network (CNN)이며 이는 특징 추출을 위한 네트워크로써 입력 영상으로부터 특징맵을 계산하는 역할을 가지고 있다[19]. 본 연구에서 적용한 DarkNet53 CNN backbone은 5개의 residual block 모듈로 구성되어 있으며, residual block 모듈로부터 추출된 특징맵들이 YOLO-v4의 neck 파트의 입력으로 활용된다[20].

YOLO-v4의 neck 파트는 backbone 파트와 head 파트를 연결하며, spatial pyramid pooling(SPP) 모듈과 path aggregation network(PAN)로 구성되어 있다. SPP 모듈은 가장 대표적인 특징을 추출하기 위하여 특징맵의 Maxpooling layer들을 연결하며, SPP 모듈은 Maxpooling 연산을 위하여 1 by 1, 5 by 5, 9 by 9 그리고 13 by 13 커널을 적용하였다. 또한 stride 값은 1로 설정하였으며, 합쳐진 특징맵들을 연결하면 backbone 특징들의 receptive field가 증가하여 네트워크 정확도를 향상시키는 역할을 수행한다. Neck 파트는 backbone 네트워크의 각각의 다른 계층의 특징맵들을 연동하여 head 파트에 전달하는 역할을 수행한다. Head 파트는 합쳐진 특징 맵들을 처리하여 출력 영역의 bounding box, objectness score 그리고 분류 성능을 도출하며, YOLO-v4의 경우 YOLO-v3과 같이 1단계 객체 검출기를 검출 Head로 활용한다[21].

심 깊이 분류를 위하여 기존 모델의 input layer의 input size를 수정하고, fully connected layer와 classification layer를 추가함으로써 딥러닝 모델에서 배추 심 위치 영역뿐만 아니라 배추 깊이의 클래스 값을 분류할 수 있도록 모델을 개발하였다. 아래 그림 5와 같이 YOLO-v4 모델의 input layer에 활용될 수 있도록 원 영상의 사이즈를 변환하였으며, 앞서 언급하였던 라벨링된 영역 rectangle의 coordinate x,y값과 가로 세로 거리 그리고 클래스로 변환된 각 배추 샘플의 클래스를 output으로 설정하였다.

그림 5. YOLO-v4 딥러닝 모델

Fig. 5. YOLO-v4 deep learning model

3. 결과

본 연구에서는 배추의 RGB 영상을 활용한 YOLO-v4 딥러닝 기반 심 중심 영역 검출 및 심 깊이를 분류할 수 있는 모델을 제안하였으며 결과는 다음과 같다.

3.1 연구 결과 성능 평가

본 연구에서 적용한 배추 심 영역 검출 및 깊이 분류 모델의 성능을 검증하기 위하여 k-fold cross validation 기법을 활용하였으며, k 값은 5로 설정하였다. 또한, 모델의 검출에 대한 성능 평가 파라미터로는 intersection over union (IoU)와 class probability confidence score 그리고 분류 성능 평가 파리미터로는 confusion matrix를 활용하여 accuracy, sensitivity, specificity 그리고 F1-score값을 도출하였다. 배추 심 영역 검출 및 깊이 분류 모델 학습 및 검증을 위하여 MATLAB(2023a, Mathworks, USA)와 Computer vision Toolbox 및 Deep learning Toolbox 활용하였으며, 인텔(R) i7-5930K CPU @3.50GHz, NIVDIA A4000 20GB의 윈도우 시스템을 사용하였다.

3.2 배추 심 중심 영역 검출 딥러닝 모델 결과

YOLO-v4 모델로 배추 심 중심 영역 검출 딥러닝 학습 및 검증 결과는 아래 표1과 같다. 영역 검출 평가 파라미터인 mean average performance (mAP), mean confidence score (MSC) 그리고 IoU 결과는 각각 평균 0.97, 0.98 그리고 0.91로 나타났다.

표 1. 배추 심 영역 검출 딥러닝 결과

Table 1. Cabbage core region deep learning res

3.3 배추 심 깊이 분류 딥러닝 모델 결과

다음은 배추의 심 깊이를 딥러닝 모델을 활용하여 분류한 결과는 표 2와 같다. 본 연구에서는 계측된 실제 심 깊이 값을 클래스로 변환하여 분류 모델을 구성하였으며, 평균 96.2%, 민감도 96.4%, 특이도 99.6%, 정밀도 94.8% 그리고 F1-score 95.5%로 나타났다.

표 2. 배추 심 깊이 분류 딥러닝 결과

Table 2. Cabbage core depth deep learning result

아래 그림 6은 배추 심 깊이 클래스 분류를 위한 딥러닝 모델의 혼돈행렬 결과이다. 본 연구에서는 계측된 배추 심의 최대 값을 기반으로 9개의 클래스로 분류하였으며, 검증을 위하여 152개의 샘플을 활용하였다. 그 결과 클래스 1, 7 그리고 9에서 정답 클래스 대비 분류된 클래스의 오분류가 나타났으며 그외 클래스 2에서 6 그리고 8은 모든 검증 샘플에서 정답과 분류된 결과가 일치하였다.

그림 6. 대표 배추 심 깊이 분류 혼돈행렬

Fig. 6. Representative confusion matrix of cabbage core depth classification deep learning model​​​​​​​

아래 그림 7은 대표적인 본 연구에서 제안한 YOLO-v4 딥러닝 모델 기반 배추 영역 및 심 깊이 클래스 분류 결과이다. 그림 7 왼쪽 상단에서는 IoU 값이 0.95 그리고 class 3으로 분류되었으며, 오른쪽 하단에서는 IoU값이 0.71 그리고 class 6으로 분류되었다.

그림 7. 대표 배추 심 중심 영역 검출 및 깊이 분류 딥러닝 결과

Fig. 7. Representative cabbage core region detection and depth classification deep learning result​​​​​​​

아래 그림 8은 제안한 YOLO-v4 딥러닝 모델 기반 배추 영역 및 심 클래스 분류를 위한 학습 과정 결과이다. Iteration이 증가함에 따라 loss 값이 감소하였다.

그림 8. 배추 심 영역 및 깊이 검출 및 분류 딥러닝 YOLO-v4 학습 과정

Fig. 8. Cabbage core region and depth classification deep learning YOLO-v4 training process​​​​​​​

4. 결론

김치 제조 공정 중 전처리 과정에서 배추 심 제거 공정은 노동집약적이며, 수작업 비율이 높은 공정으로 작업자들이 안전사고에 노출될 확률이 높다. 따라서 해당 공정에 로봇 또는 자동화 장비를 도입함으로써 작업자 안전성 및 생산성 향상 그리고 작업자의 노동시간 감소를 통한 작업 환경개선이 가능하다.

본 연구는 배추 심 제거 공정의 로봇 도입을 통한 자동화를 위한 사전 기초 연구로 배추 심 영역을 검출하고 심의 깊이를 분류하는 딥러닝 모델을 제안하였다. 이를 위해 500포기 이상의 배추 심이 위치한 곳의 영상 데이터를 획득하였으며, 이를 기반으로 배추 영역 및 심의 깊이를 계측하고 라벨링 작업을 수행함으로써 딥러닝 모델에 활용될 데이터베이스를 구축하였다. 또한, 구축된 데이터베이스를 기반으로 사전에 학습된 YOLO-v4 딥러닝 모델을 활용하였으며, 배추 심의 깊이를 예측하기 위하여 계측된 값을 클래스로 변환함으로써 성능 향상을 위한 새로운 기법을 적용하였다.

본 연구 결과에서 나타난 바와 같이 배추 심 영역을 검출하는 성능 중 하나인 IoU 값이 약 0.91로 높게 나타났으며, 심 깊이 분류 정확도는 평균 96.2%로 높게 나타났다. 본 연구에서는 획득한 배추의 계측된 최대 깊이 값을 기반으로 10개의 클래스로 구분하였으나, 배추의 실측 깊이 값이 적은 클래스 1와 9의 샘플이 부족하였기 때문에 오분류율이 높게 났다. 그림 7에서 나타난 바와 같이 IoU 값이 낮게 나타난 샘플의 경우 배추의 상태 또는 품질이 높은 IoU값을 보인 샘플보다 낮았다. 예를 들어 배추의 심 영역과 주변 영역의 유사한 색상으로 인하여 경계가 모호한 배추 샘플 또는 수확한 배추 샘플에 대한 세척과 같은 전처리를 수행하지 않아 흙이 많이 묻어 있는 경우 낮은 성능을 나타냈다.

본 연구의 한계점으로는 배추의 RGB 영상만을 활용하였다는 점이다. 향후에는 YOLO-v4의 대표 backbone인 CSPDarkNet53을 활용하였으나 이외 다른 backbone 예를 들어 ResNet-50를 적용하여 성능을 비교 분석하는 연구가 필요하다. 또한 더 많은 배추 영상 데이터를 활용하여 제안한 방법론 검증이 필요하며, 배추 심 제거 공정 로봇 자동화를 위하여 실제 장치에 비전 시스템을 도입하고 개발된 모델 탑재를 위한 edge computing 및 embedding system 개발이 필요할 것으로 사료된다.