Development of Agricultural Product Object Detection Auto-Labeling Deep Learning Model Based YOLO v11

YOLO v11 기반 농산물 객체 검출 오토레이블링 딥러닝 모델 개발

Abstract

This study analyzes data samples for agricultural products through individual model learning and performance comparison analysis according to the parameter specifications (n, s, m) of YOLO v11, an object detection model, and we developed an auto-labeling program for agricultural product image data that detected optimized parameters. YOLO v11 differentiates itself through improved adaptability to support a variety of CV tasks beyond traditional object detection, expanding the applicability of the model in a variety of filed. We constructed 12,547 instances of 4 types of agricultural product (apple) defects and 4,867 images, and analyzed the performance accuracy (mAP@50) of the learning and verification results to select the optimal model. The proposed model provides the ability to provide biometric functions for orchards in agricultural fields, and is a welcome, proven, and reliable security quality judgment technology, and can be applied to smart farm artificial intelligence technology.

본 연구는 객체 감지 모델인 YOLO v11의 파라미터 규격(n, s, m)에 따른 개별 모델 학습과 성능 비교 분석을 통해 농산물에 대한 데이터 샘플을 분석하고, 최적화된 파라미터를 검출한 농산물 이미지 데이터 오토레이블링 프로그램을 개발하였다. YOLO v11은 기존 물체 감지를 넘어 다양한 CV작업을 지원하는 향상된 적응력을 통해 차별화되며, 다양한 분야에서 모델의 적용가능성을 넓힐 수 있다. 농산물(사과) 불량 유형 4종의 인스턴스 12,547개, 이미지 4,867장을 구축하고 학습 및 검증 결과 성능의 정확도(mAP@50)를 분석하여 최적의 모델로 선정하였다. 제안된 모델은 농업 현장에서 과수에 대한 생육단계 판별을 위한 객체 탐지 기능을 제공하며 지능형 품질판별 기술을 위한 정확도, 다양성, 신뢰성, 효율성 향상을 통해 스마트팜 인공지능 기술에 적용할 수 있다.

1. 서론

최근 인공지능 관련 기술의 급성장과 빠르게 변화하는 인공지능 산업에 대응하기 위해서 국내에서도 인공지능 기술의 경쟁력 확보를 위한 학습용 데이터에 대한 연구가 활발히 이루어지고 있다[1]. 현재, 스마트팜에 대한 인공지능 기술이 활발히 개발되어 적용되고 있으며, 노지 농업의 현안 해결을 위해서도 인공지능 기술이 활발히 개발되고 있다. 고강도 노동과 많은 인력투입이 필요한 노지 농업은 농촌인구의 고령화와 인력 부족으로 생산성 및 수익 감소 등이 발생하고 있으며, 국민 소득의 증가와 생활 수준의 향상에 따른 농산물의 소비패턴 및 생산 체계의 변화로 고품질 농산물에 대한 수요도 급격하게 증가 중이다[2].

고품질 농산물 생산을 위해 필요한 품질판별의 경우, 아직까지도 100% 수작업으로 진행되고 있으며, 노동력 부족 해결과 품질 확보 방안으로 지능형 품질판별 기술이 효과적인 대안으로 부상 중이다[3]. 지능형 품질판별 기술을 위해서는 인공지능 모델의 정확도 및 데이터 수집 조건의 다양성 확보, 데이터 구축 방식의 신뢰성과 작업의 효율성 향상을 위한 자동화 구현, 딥러닝 기반의 학습을 통해 기존 시스템 대비 향상된 품질관리 속도 구현이 필요하다[3].

본 논문에서는 지능형 품질판별 기술을 노지 농업인 과수에 적용하기 위해 YOLO v11 기반의 농산물 객체 검출 오토레이블링(Auto-Labeling) 딥러닝 모델을 제안한다. 실제 노지현장에서 수집된 농산물(사과) 불량 유형인 생리장해, 흠집, 기형, 병충해의 4개의 클래스로 라벨링하여 사용한다. 총 8,308개의 이미지로 구성되어 있으며, 작업능률 향상을 위해 28,020개의 인스턴스로 데이터를 증강하여 테스트하였다[4]. 시스템에 사용된 모델은 YOLO v11버전의 n, s, m이며, 버전 테스트를 통해 성능이 가장 뛰어난 모델을 제안하며 품질판별 기능은 현장에서 이미지로 탐지하는 방법과 이미지를 업로드하여 인식하는 방법으로 구분할 수 있다[5][6]. 또한, 품질판별 이미지 데이터셋의 효율적인 어노테이션을 위한 통합 도구인 이미지 데이터 오토레이블링 프로그램을 개발하고, 농산물 품질판별 딥러닝 모델을 개발한다.

2. 관련 연구

YOLO v11은 Ultralytics YOLO 시리즈의 최신 버전으로, 실시간 객체 탐지 분야에서 정확도, 속도, 효율성 측면에서 혁신을 이룬 객체 탐지 사용 알고리즘이다. 이전 YOLO 버전들의 발전을 바탕으로 YOLO v11은 아키텍처와 학습 방법에서 중요한 개선을 도입하여, 다양한 컴퓨터 비전 작업에 적합한 다재다능한 선택지를 제공한다[7].

YOLO v11은 개선된 백본(backbone)과 넥(neck) 아키텍처를 사용하여 특징 추출 능력을 향상시켜 보다 정밀한 객체 탐지와 복잡한 작업 성능을 제공하며[8], 세밀한 아키텍처 디자인과 최적화된 학습 파이프라인을 도입하여 정확도와 최적의 균형을 유지한다[9]. 또한, 더 적은 파라미터로 높은 정확도를 제공하며, 엣지 디바이스, 클라우드 플랫폼, NVIDIA GPU를 지원하는 시스템[10][11] 등 다양한 환경에서 원활하게 배포될 수 있어 최대의 유연성을 제공한다[12].

3. 연구 설계 및 분석

3.1 데이터 획득 및 분석

노지현장에서 수집된 농산물(사과)의 불량 유형을 4종으로 정의하고, 총 8,308개의 이미지를 구축하고 데이터셋 학습, 검증, 테스트의 비율을 8:1:1로 분할하여 데이터 샘플을 추출하였으며, 불량 검출 유형은 생리장해, 흠집, 기형, 병충해로 구분하여 데이터 샘플을 추출하였다.

(그림 1) 농산물 불량검출 데이터 샘플

<표 1> 농산물 객체 검출 데이터셋 구축 및 분석

(그림 2)는 학습 데이터 특성 분석을 나타낸 그래프이다. 클래스 분포 분석 그래프에서는 총 4개의 서로 다른 클래스가 존재하며 클래스 간 불균형이 나타남을 보였으며, 병충해(blight) 클래스에서 80%를 형성하는 긴 꼬리 분포(Long-tail Distribution) 특성이 나타남을 알 수 있다. 앵커박스 분석은 중심점을 기준으로 정사각형 형태의 분포를 보이며, 중심에서 가장 강한 신호 발생하는 것을 알 수 있었으며, 5단계 정도의 깊이로 구성된 중첩 패턴이 관찰되었다. x축과 y축 모두 0.0에서 1.0사이로 정규화된 값을 사용한 바운딩 박스 크기 분포에서는 데이터 포인트들이 중앙 영역(0.4∼0.6)에 집중적으로 분포되었으며 매우 크거나 작은 형태의 극단적인 크기 박스는 비교적 적은 비중을 차지하였고, 전반적으로 균일한 분포 패턴을 보였다. 종횡비 분석 그래프에서는 데이터 포인트들이 특정 영역에 집중되어 있는 경향이 뚜렷하였으며, 대각선 방향을 따라 형성된 클러스터링 패턴이 관찰되었으며, 대부분의 객체들이 유사한 종횡비 범위 내에 분포하고 있으며, 매우 길거나 넓은 종회비를 가진 객체의 수는 매우 적음을 알 수 있다.

(그림 2) 학습 데이터 특성 분석

(그림 3)은 바운딩 박스 페어 플롯을 분석한 데이터이다. 객체 검출에 사용된 바운딩 박스의 중심점 x,y는 이미지 전반에 걸쳐 비교적 고르게 분포되어 있으며, 특정 영역에 편중되지 않은 것으로 나타났다.

(그림 3) 바운딩 박스 페어 플롯

바운딩 박스의 너비(width)와 높이(height)는 대체로 작은 값에 집중되어 있고 오른쪽 꼬리가 긴 꼬리 분포를 보이는데 이는 데이터셋에 작은 크기의 객체가 많다는 것을 시사한다. x-y, 너비와 높이 간의 산점도를 보면 뚜렷한 선형 관계는 보이지 않으나, 특정 영역에서 데이터 포인트가 밀집된 패턴이 관찰되어 객체들의 위치와 크기가 일정한 규칙성을 가지고 있음을 알 수 있다.

3.2 오토레이블링 모델 학습 분석

YOLO v11은 백본 및 네크워크 구조 기반 물체 감지, 인스턴스 세그멘테이션, 포즈 추정과 같은 다양한 컴퓨터 비전 작업 전반에 활용할 수 있으며, 이를 활용하여 불량 검출 오토레이블링 모델 학습을 수행하였다. YOLO v11의 다양한 파라미터 규격 n, s, m에 따른 개별 모델 학습 및 성능 비교 분석 결과를 통해 정확도, 처리속도 등최적의 모델 규격을 제시한다. 공통 학습 설정으로 640×640 크기의 입력 이미지에 대한 100 에폭(epoch)동안 학습을 진행하였으며, 배치의 크기는 16, 초기 학습률 0.01, 모멘텀 0.937, 가충치 감쇠 0.0005를 적용하였다. 데이터 증강 기법으로는 모자이크, 좌우 반전(50% 확률), Random Erasing(40% 확률)을 활용했으며, HSV 색상 조정과 이미지 이동, 스케일 변환 등을 추가적으로 적용하였다.

4. 연구 결과

4.1 YOLO v11-n 학습 결과 및 분석

(그림 4)는 YOLO v11-n 파라미터 규격에 따른 Training을 통한 Prdiction 성능을 측정하기 위해 예측값과 실제값을 비교하기 위한 표인 Confusion matrix이다. 생리장해(physiological) 클래스 식별에서 가장 강력한 성능을 보여주며, 해당 클래스에서 85% 정확도를 보이고 신뢰도 임계값이 변화해도 높은 재현율을 유지하였다. 기형(malformation) 탐지는 다른 클래스들에 비해 상대적으로 낮은 성능을 보이며, 40%의 정확도와 신뢰도가 증가함에 따라 재현율이 더 가파르게 감소하는 것으로 보아 이 조건을 구별하는 데 어려움이 있는 것으로 보인다. 병충해(blight) 분류는 높은 정확도(71%)를 보이지만 배경과의 높은 혼동(82%)도 함께 나타나고 있어, 모델이 마름병 특성을 탐지하는데 과도하게 민감할 수 있음을 시사한다.

(그림 4) YOLO v11-n 모델 Confusion matrix

(그림 5, 6, 7)은 각각 Precision(정밀도), Recall(재현도), F1(정밀도와 재현도 평균) 그래프를 나타낸 것이다. (그림 5)에서 정밀도-신뢰도 곡선을 보면 모든 클래스가 최대 신뢰도에서 높은 정밀도(1.0에 근접)에 도달하는데, 이는 모델이 높은 신뢰도를 표현할 때 예측이 매우 신뢰할 만하다는 것을 의미한다.

(그림 5) YOLO v11-n Precision 그래프

(그림 6) YOLO v11-n Recall 그래프

(그림 7) YOLO v11-n F1-Confidence 그래프

(그림 7)에서 살펴보면, F1-신뢰도 곡선이 대부분의 클래스에서 비교적 낮은 신뢰도 임계값(약 0.2)에서 0.7 정도로 정점을 찍는데, 이는 정밀도와 재현율의 최적 균형점이 예상보다 낮은 신뢰도 수준에서 발생함을 나타낸다. 학습 및 검증 결과 성능값은 정밀도-재현율 곡선에서 임계값을 0.5로 설정하여 계산한 mAP@50 값은 76.16%, 여러 임계값을 사용하여 AP값을 계산하는 mAP@50-95값은 50.79%로 나타났다.

4.2 YOLO v11-s 학습 결과 및 분석

(그림 8)을 살펴보면, 생리장해 클래스는 혼동 행렬에서 87%의 높은 정확도를 보이며, 다른 클래스들과 거의 혼동되지 않았다. F1-신뢰도 곡선에서도 가장 우수한 성능을 보여주며, 신뢰도가 증가해도 F1 점수가 0.8 이상으로 안정적으로 유지됨을 알 수 있다. 특히 재현율-신뢰도 곡선에서 가장 완만한 감소세를 보이는데, 이는 신뢰도 임계값을 높게 설정해도 탐지 능력이 잘 유지된다는 것을 의미한다. 흠집 클래스는 79%의 양호한 정확도를 보이지만, 배경과의 혼동(13%)이 주요 오류 원인이며, 기형 클래스는 40%의 낮은 정확도를 보이며, 특히 배경과의 높은 혼동(56%)이 두드러지는 것으로 나타났다. 병충해 클래스는 69%의 적절한 정확도를 보이지만, 배경과의 상당한 혼동(31%)이 존재함을 알 수 있었다.

(그림 8) YOLO v11-s 모델 Confusion matrix

(그림 9) YOLO v11-s Precision 그래프

(그림 10) YOLO v11-s Recall 그래프

(그림 11) YOLO v11-s F1-Confidence 그래프

F1-신뢰도 곡선에서도 생리장해 클래스가 가장 우수한 성능을 보여주며, 신뢰도가 증가해도 F1 점수가 0.8 이상으로 안정적으로 유지되었으며, 학습 및 검증 결과 성능 76.16%(mAP@50), 50.79%(mAP@50-95) 도출되었다.

4.3 YOLO v11-m 학습 결과 및 분석

YOLO v11-m 모델의 경우, 생리장애 클래스의 정확도가 87%, 흠집 클래스의 정확도는 81%로 큰 폭의 상승을 나타내었으며, 혼동 행렬의 대각선 값들도 전반적으로 개선되어 클래스 간 구분 능력이 향상된 것을 확인할 수 있다.

하지만 일부 클래스에서는 성능 저하 현상이 일어났는데, 구체적으로 병충해 탐지의 정확도는 66%로 다소 하락했으나, 배경과의 혼동은 76%로 감소하였다. 또한 기형 클래스의 정확도는 36%로 소폭 하락했으며, 여전히 가장 낮은 성능을 보이는 클래스로 남아 있다.

(그림 11) YOLO v11-m 모델 Confusion matrix

(그림 12) YOLO v11-m Precision 그래프

(그림 13) YOLO v11-m Recall 그래프

(그림 14) YOLO v11-m F1-Confidence 그래프

신뢰도 측면에서는 F1 점수의 최고점이 이전보다 높아졌고, 전체적으로 더 높은 신뢰도 영역에서 성능이 유지되는 것을 확인할 수 있었다. Precision-Confidence 곡선이 더 가파르게 상승하여 신뢰도와 정밀도의 상관관계가 강화된 것도 주목할 만한 변화이며, 또한, 배경 분류에서도 개선이 이루어져 전반적인 오분류율이 감소했다. 학습 및 검증 결과 성능 75.47%(mAP@50), 49.97%(mAP@50-95) 도출되었다.

4.4 오토레이블링 모델 성능 비교 분석

YOLO v11 파라미터 3가지 모델(n, s, m)을 비교분석한 결과, YOLO v11-s 파라미터가 최적으로 모델로 선정되었다. YOLO v11-s는 mAP50 평균값이 0.76으로 가장 높은 성능을 보이면서도, 250 FPS의 빠른 처리 속도를 유지하였으며, 더 큰 모델인 YOLO-v11-m은 파라미터 수가 2배 이상 증가했음에도 오히려 성능이 낮아지는 결과를 보였고, 가장 작은 YOLO-v11-n은 상대적으로 낮은 성능을 보였다. 따라서 파라미터의 적절한 모델 크기와 함께 높은 정확도, 빠른 처리 속도의 밸런스를 갖춘 YOLO-v11-s 가장 최적의 모델로 선정하여 프로그램을 진행한다.

<표 2> 오토레이블링 모델 3종 정량적 성능 분석

4.5 어노테이션 프로그램 개발

PyQt5 기반 테스크톱 어플리케이션으로 이미지 데이터셋의 효율적인 어노테이션을 위한 통합 도구를 개발하였다. 수동 라벨링과 자동 라벨링을 모두 지원하며, YOLO 포맷과의 호환성을 제공한다. 주요 기능으로는 파일 시스템 관리, 수동-자동 어노테이션 기능, 데이터 관리, 사용자 인터페이스 등을 제공한다.

(그림 15)는 수동 어노테이션이며, 마우스 드래그 바운딩 박스 생성, 박스 크기 및 위치 실시간 조정, 다중 객체 어노테이션 지원, 선택된 바운딩 박스 하이라이트 표시, 클래스 관리 등이 가능하다.

(그림 15) 어노테이션 기능 – 수동 어노테이션

(그림 16)은 YOLO v11-s 기반 농산물 불량 감지 모델이 적용된 자동 어노테이션이며, CUDA 가속지원, 배치 처리 기능이 가능하다. 또한, 단일 이미지 처리, 전체 디렉토리 일괄 처리, 진행률 표시 및 중간 결과 저장 등의 기능이 있다.

(그림 16) 어노테이션 기능 – 자동 어노테이션

(그림 17)은 에노테이션 데이터 관리 및 데이터 표시에 대한 관리 방식이다. 저장 형식은 YOLO 포맷 호환(.txt), 클래스 정보 별도 관리, JSON 형식의 메타데이터, 자동 백업 기능 등이 가능하다. 또한, 실시간 좌표 정보 업데이트, 테이블 형식의 어노테이션 목록, 정렬 및 필터링 기능, 선택된 객체 하이라이트 등이 가능한 데이터 표시 기능이 있다.

(그림 17) 클래스 단위 XML 바운딩박스 정보 저장

5. 결론

본 논문에서는 실제 노지현장에서 수집된 농산물(사과) 불량 유형인 생리장애, 흠집, 기형, 병충해의 4개 클래스로 라벨링을 사용하여 YOLO v11 기반의 농산물 객체 검출 오토레이블링(Auto-Labeling) 딥러닝 모델을 제안한다. 시스템에 사용된 모델은 YOLO v11버전의 n, s, m이며, 버전 테스트를 통해 성능이 가장 뛰어난 모델인 s모델을 기반으로 하였다. YOLO v11-s 모델은 mAP50 평균값이 0.763으로 가장 높은 성능을 보이면서도, 250 FPS의 빠른 처리 속도를 유지하였다. 이를 바탕으로 어노테이션을 위한 통합 도구인 이미지 데이터 오토레이블링 프로그램을 개발하고 농산물 품질판별 딥러닝 모델을 개발하였다.

고품질 농산물 생산을 위한 품질판별 기술로 인하여 노동력 부족 해결과 품질 확보 방안으로 지능형 품질판별 기술이 효과적인 대안으로 활용될 것으로 기대된다. 지능형 품질판별 기술을 위한 정확도, 다양성, 신뢰성, 효율성 향상을 통해 스마트팜에 대한 인공지능 기술이 앞으로 더욱 발전하길 기대한다.