딥러닝 기반 조류 탐지 모형의 입력 이미지 자료 특성에 따른 성능 변화 분석

Analysis of performance changes based on the characteristics of input image data in the deep learning-based algal detection model

Abstract

조류는 생태계를 구성하는 중요한 요소이다. 그러나 남조류의 과도한 성장은 하천환경에 다양한 악영향을 발생시키고 규조류는 상수원과 정수장 공정관리에 영향을 미친다. 지속적이고 효율적인 조류 관리를 위해 조류 모니터링이 중요하다. 본 연구에서는 You Only Look Once (YOLO)의 최신 알고리즘 YOLO v8을 사용하여 조류경보제 기준에 사용하는 유해 남조류 4종과 정수처리공정에 영향이 큰 규조류 1종 총 5종의 이미지를 분류하는 이미지 분류모형을 구축하였다. 기본모형의 mAP는 64.4로 분석되었다. 모형의 학습에 사용된 원본 이미지에 회전, 확대, 축소를 수행하여 이미지의 다양성을 높인 5가지 모형을 구축하여 입력자료로 사용된 이미지의 구성에 따른 모형 성능의 변화를 비교하였다. 분석결과 회전, 확대, 축소를 모두 적용한 모형이 mAP 86.5로 가장 좋은 성능을 보이는 것을 확인하였다. 이미지의 회전만을 적용한 모형, 회전과 확대를 적용한 모형, 이미지의 회전과 축소만를 적용한 모형의 mAP는 각각 85.3, 82.3, 83.8로 분석되었다.

Algae are an important component of the ecosystem. However, the excessive growth of cyanobacteria has various harmful effects on river environments, and diatoms affect the management of water supply processes. Algal monitoring is essential for sustainable and efficient algae management. In this study, an object detection model was developed that detects and classifies images of four types of harmful cyanobacteria used for the criteria of the algae alert system, and one diatom, Synedra sp.. You Only Look Once(YOLO) v8, the latest version of the YOLO model, was used for the development of the model. The mean average precision (mAP) of the base model was analyzed as 64.4. Five models were created to increase the diversity of the input images used for model training by performing rotation, magnification, and reduction of original images. Changes in model performance were compared according to the composition of the input images. As a result of the analysis, the model that applied rotation, magnification, and reduction showed the best performance with mAP 86.5. The mAP of the model that only used image rotation, combined rotation and magnification, and combined image rotation and reduction were analyzed as 85.3, 82.3, and 83.8, respectively.

1. 서론

조류는 생태계를 구성하는 중요한 요소이다(Chapman, 2013). 그러나 남조류의 과도한 성장은 하천의 수질 악화, 인체에 유해한 독성물질의 생성, 악취 그리고 하천의 미관악화 등 다양한 악영향을 발생시키며 규조류는 상수원과 정수장 공정관리에 영향을 미친다 (Grattan et al., 2016; Griffith and Gobler, 2020; Paerl and Huisman, 2008). 조류 관리는 지속적인 물관리의 중요한 과제이고 효율적인 조류 관리를 위해서는 조류 발생에 대한 모니터링이 중요하다. 조류 발생 모니터링은 현미경을 이용한 분류 등이 가장 일반적인 방법으로 이러한 방법은 정확한 분석을 위해서는 관련분야 전문가의 분류가 필요하며 시간과 인력의 소모가 많은 작업이다.

최근 수년간 딥러닝 기반의 이미지 분석 기술을 활용하기 위한 연구가 다양한 분야에서 빠르게 증가하고 있으며, 물환경 분야에서도 전문인력과 시간의 절감을 통한 물관리 효율성의 향상을 위해 You Only Look Once (YOLO) 등 합성곱 신경망 (Convolutional Neural Networks, CNN)에 기반한 다양한 객체 탐지 머신러닝 모형을 조류 분류에 적용하기 위한 연구가 계속되고 있다(Chandana and Ramachandra, 2022; Diwan et al., 2023; Jiang et al., 2022).

CNN은 현재까지 이미지 분류모형에 널리 사용되는 알고리즘으로 convolution과 pooling 과정으로 구성된 내부 연산을 통해 이미지의 특징을 추출하고 연산량을 줄여주며 이미지 분류에서 좋은 성능을 보이는 것으로 알려져 있으며, Fast R-CNN, R-CNN 등 다양한 CNN 기반 모형이 개발되어왔다 (Girshick et al., 2014; Krizhevsky et al., 2012: Ren et al., 2015; Zhiqiang and Jun, 2017).

이미지 분류모형은 분류 단계의 구성에 따라 1-stage Detector와 2-stage Detector로 구분할 수 있다 (Sultana et al., 2020). 초창기의 이미지 분류 모형의 경우 2-stage Detector 모형으로 영역 제안 (region proposal) 이후 객체 분류 (classification)를 진행한다. 따라서 정확도는 높지만 객체 분류에 많은 시간이 소요된다는 단점이 있다. 이를 개선하기 위해 영역 제안과 객체 분류가 하나의 과정으로 통합된 1-stage Detector가 개발되었으며 2-stage Detector 모형과 유사한 수준의 정확도를 유지하면서 객체 분류 시간은 빠르게 개선되었다.

You Only Look Once (YOLO) 알고리즘은 대표적인 1-stage Detector 모형이다.

YOLO 모형은 객체 분류 과정에서 영역 제안과 객체 분류를 하나의 과정으로 수행하여 객체 분류에 소요되는 시간이 빨라지는 장점을 가지고 있으며, 최초 개발자에 의해 v3까지 개발된 이후에도 지속적으로 개선된 버전이 발표되었으며, 2023년 1월에는 v8이 발표되었다 (Redmon et al., 2016; Redmon and Farhadi, 2017; Redmon and Farhadi, 2018; Hussain, 2023).

다양한 이미지 분류모형을 하천 조류 분석에 적용하기 위한 연구도 지속되고 있다. Medina, E. et al. (2017) 은 CNN 등을 이용하여 수중 파이프라인에서 조류의 발생을 감지하는 모형을 구축하였다. 또한 Faster R-CNN, mask R-CNN 등 다양한 이미지 분류 알고리즘이 조류 이미지 분석 모형의 구축에 활용되었다 (Qian et al., 2020; Suh et al., 2021). 최근에는 빠른 속도로 실시간 검출에 용이한 YOLO 알고리즘을 조류 이미지 분석에 적용하기 위한 연구가 지속되고 있다. Park et al. (2022) 은 현장 적용을 고려한 조류 탐지모형을 구축하고 YOLO v3와 v4의 버전에 따른 성능을 비교하였다.

본 연구에서는 YOLO의 2023년 8월 기준 최신 버전인 YOLO v8을 사용하여 조류경보제 기준에 사용하는 유해 남조류 4종과 정수처리공정에 영향이 큰 규조류의 대표 종 Synedra sp.를 탐지하는 모형을 구축하였다. 머신러닝 모형의 성능은 학습에 입력자료로 사용되는 이미지의 특성에 많은 영향을 받으며 학습에 사용되는 양질의 이미지 확보가 중요하다. 하지만 현미경을 이용하여 실측된 이미지로 입력자료를 구축하는 것은 한계가 있으며, 이러한 한계를 개선하기 위해 확대, 축소, 회전을 이용하여 이미지를 생성하고 학습 이미지의 다양성을 높여서 모형성능에 미치는 영향을 분석하였다.

2. 재료 및 실험방법

2.1 Image

모형구축에는 2020년 1월 1일부터 2023년 7월 1일까지 대청댐 등 현장 하천에서 채수한 시료에서 광학현미경을 이용하여 촬영한 120장의 이미지로 모형을 구축하였다. 현미경 배율에 따라 구축된 이미지의 해상도가 달라 open source library인 OpenCV를 이용하여 이미지 해상도를 640 * 640으로 재구성하였다 (OpenCV, 2010)(Fig. 1). 모형구축에 사용한 조류의 종은 유해 남조류 4종인 Anabaena sp., Aphanizomenon sp., Microcystis sp., Oscillatoria sp.와 규조류 Synedra sp. 총 5종의 이미지를 사용하였다 (Table 1).

Fig. 1. Schematic of image preprocessing.

Table 1. Images used for model development

2.2 모형 선택

모형구축에 사용한 YOLO v8은 2023년 1월 Ultralytics에서 개발한 YOLO의 가장 최신 알고리즘으로 정확도와 검출 속도를 개선하여 실시간 검출에 적합하도록 구축된 모형이다 (Hussain, 2023; YOLO by Ultralytics, 2023). YOLO v8은 Nano, Small, Medium, Large 그리고 Xtra Large 총 5개의 세부적인 모형이 있으며 그중 가장 크기가 작은 Nano는 5개의 세부 모형 중 객체 탐지속도가 가장 빠르면서 정확도가 상대적으로 떨어지고 Xtra Large로 갈수록 객체 탐지속도가 느려지고 정확도가 높아진다. 세부 모형의 성능은 mAP 각각 37.3, 44.9, 50.2, 52.9 그리고 53.9로 제시되었다 (YOLO by Ultralytics, 2023). 본 연구에서는 120장의 입력자료를 사용했으며, 상대적으로 입력 자료가 많지 않은 현황과 실시간 탐지 등에 적용 가능성을 고려하여 상대적으로 inference 속도가 빠르면서 안정적인 성능을 보이는 YOLO v8 Small 모형을 적용하였다.

2.3 입력 자료

2.3.1 회전

모형의 구축에는 OpenCV를 사용하여 640 * 640 해상도로 재구성한 120장의 기본 이미지 적용과 이미지 구성에 변화를 주어 이미지 구성이 객체 탐지모형 성능에 미치는 영향을 분석하였다. 이미지 구성은 회전, 확대, 축소를 적용했으며 회전 이미지는 120장의 기본 이미지 중종별 10장씩 총 50장을 선별한 후 90°, 180°, 270° 회전시킨 이미지 150장을 생성하여 객체 탐지모형의 학습 이미지로 추가하였다 (Fig. 2).

Fig. 2. Schematic of image rotation.

2.3.2 확대

이미지의 구성 중 확대의 이미지는 재구성한 기본 이미지 중 회전 이미지 생성 시 선별했던 종별 10장의 이미지에서 분석 대상이 되는 조류 세포 부분을 추출하였다. 이미지를 추출할 때 일정한 비율을 유지하기 위해 해상도 640 * 640인 원본 이미지에서 분석 대상이 되는 조류 세포 부분을 해상도 304 * 304의 이미지로 추출하고 OpenCV를 이용하여 이미지 해상도를 640 * 640으로 재구성하고 분석 대상인 조류이미지가 확대되도록 입력자료를 구축하였다. 이미지의 확대 시 원본 이미지의 전체가 포함되지 않는 이미지 2장을 제외한 48장의 이미지를 객체 탐지모형의 학습 이미지에 추가하였다 (Fig. 3).

Fig. 3. Schematic of image magnification.

2.3.3 축소

축소 이미지는 이미지 구성변화를 위해 선별하였던 종별 10장의 이미지로 진행하였다. 기본 이미지의 해상도 640 * 640에서 OpenCV를 사용하여 이미지 전체의 해상도를 304 * 304로 축소하고 모형구축 시 이미지 변형을 최소화하기 위해 640 * 640의 해상도로 Image Padding 처리하였으며 축소된 이미지 50장을 학습 이미지에 추가하였다 (Fig. 4).

Fig. 4. Schematic of image reduction.

2.3.4 모형구축

회전, 확대, 축소 등을 통해 새롭게 추가된 이미지를 이용해서 구성의 다양성을 높여 총 5가지 모형을 구축하고 입력자료 구성에 따른 성능을 비교하였다. Model 1은 해상도 640 * 640으로 재구성한 이미지 120장만을 사용하여 구축한 기본모형이며 Model 2는 기본모형의 이미지 120장과 생성한 회전 이미지 150장을 추가하여 총 270장의 이미지를 사용하여 구축한 모형이다. Model 3과 Model 4는 Model 2의 이미지 구성에 조류 세포 확대 이미지 48장과 축소 이미지 50장을 각각 적용하여 총 318장과 320장으로 구축한 모형이다. Model 5는 기본 이미지와 회전, 확대, 축소를 모두 적용하여 총 368장의 이미지로 모형을 구축하였으며 모형구축을 위해 사용된 이미지를 Table 2에 정리하였다.

Table 2. Images used for each model development

2.4 모형 평가

객체 탐지모형의 성능은 객체 탐지 정확도 평가 지표인 mean Average Precision (mAP)을 사용하여 평가하였다. mAP는 정밀도 (Precision)와 재현율 (Recall)을 이용하여 다음의 공식을 이용하여 산정된다 (Eq. 1, 2). 탐지한 객체를 올바르게 예측한 경우 True Positive (TP)로 분류하고 올바르게 예측하지 못한 경우 False Positive (FP), 객체를 미탐지한 경우 False Negative (FN)로 분류한다. Average Precision (AP)는 모형의 Recall 값의 변화에 따른 Precision의 변화를 나타내는 Precision Recall Curve 그래프에서 그래프 선 아래쪽 면적의 합으로 계산하며 mAP는 모든 객체 class AP의 평균이다.

\(\begin{align}Precision=\frac{T P}{T P+F P}\end{align}\)       (1)

\(\begin{align}Recall=\frac{T P}{T P+F N}\end{align}\)       (2)

3. 결과 및 고찰

3.1 모형성능 비교

현장에서 측정된 조류는 동일한 종의 경우에도 측정된 이미지의 크기, 방향 등이 다양하게 분포할 수 있다. 이미지의 특징을 학습하여 대상을 분류하는 딥러닝 기반 이미지 분류모형의 특성상 이미지의 다양한 특성의 학습을 통해 성능의 향상을 기대할 수 있으며, 본 연구에서는 실제 측정된 조류이미지의 크기 및 방향을 변경하여 입력자료의 다양성을 높여 모형의 성능에 미치는 영향을 분석하였다.

원본 이미지 120장만을 사용하여 구축한 Model 1의 mAP는 64.4로 종별 AP는 Anabaena sp., Aphanizomenon sp., Microcystis sp., Oscillatoria sp.와 Synedra sp. 각각 33.5, 62.9, 86.2, 71.3 그리고 67.9로 분석되었다. 그리고 회전 이미지를 추가한 Model 2는 mAP 0.85와 종별 AP Anabaena sp., Aphanizomenon sp., Microcystis sp., Oscillatoria sp.와 Synedra sp. 각각 71.0, 91.3, 91.9, 77.8 그리고 94.4로 Model 1에 비해 조류 5종 모두 분류 성능이 개선되었다.

이미지 구성을 변경하여 다양성을 높인 5가지 모형 중 이미지 회전, 확대, 축소를 모두 적용한 Model 5가 가장 좋은 성능을 보였다. mAP는 86.5로 Model 1에 비해 평균성능이 약 34% 향상되었다. 이미지 회전과 확대와 축소 한 가지만 적용한 Model 3과 Model 4의 경우 Model 1보다는 좋은 성능을 보였으며 회전만을 적용한 Model 2와 비교했을 때 오히려 다소 성능이 낮아지는 경향을 보였으나 그 차이는 크지 않았다(Table. 3).

Table 3. Model performance based on image composition

기본 이미지를 사용하여 구축한 조류 분류모형에서 회전, 축소, 확대 등 이미지 구성의 추가를 통해 성능이 개선되는 것을 확인했다. 기본모형인 Model 1에 비해 회전을 적용한 Model 2, 회전 확대를 적용한 Model 3, 회전축소를 적용한 Model 4 그리고 회전, 확대, 축소를 모두 적용한 Model 5의 평균성능이 각각 32.45%, 27.80%, 30.12% 그리고 34.32% 향상되었다 (Fig. 5).

Fig. 5. Improvement of Model Performance.

3.2 개별 검출 결과 비교

이미지 다양성을 높인 5가지 모형구축을 통해 성능향상을 확인하였으며 세부적으로 모형 성능이 개선된 사항을 개별 이미지로 확인하였다. 첫 번째, 학습 이미지의 다양성을 증가시키면서 성능이 향상되어 Model 1에서 분류하지 못한 조류이미지를 분류한 경우를 확인하였다. Fig. 6 (a)는 원본 이미지이며 Fig. 6 (b)의 예에서 볼 수 있는 것처럼 Model 1에서는 분류가 되지 않았던 Anabaena sp.가 Model 5에서는 분류되는 것을 확인할 수 있다(Fig. 6 (c)).

Fig. 6. Examples of object detection improvement.

두 번째, 조류이미지 분류 시 다른 종으로 분류하는 오 분류가 개선된 경우를 확인하였다. Fig. 7 (a)에서 볼 수 있는 것처럼 원본 이미지의 Anabaena sp.를 Fig. 7 (b)의 Model 1에서는 Aphanizomenon sp., Oscillatoria sp.와 Synedra sp.와 같이 모양이 비슷한 종으로 오 분류 하는 경향이 있었으나 이미지 구성의 다양성을 추가한 Model 5에서는 이러한 오류가 개선되는 것을 확인하였다 (Fig. 7 (c)). 또한 모형의 오류 유형중 하나로 동일한 이미지가 여러번 분류되는 이중 탐지 (double detection)가 발생되는 것을 확인할 수 있었다 (Fig. 8).

Fig. 7. Examples of improvements in object misclassification.

Fig. 8. Examples of object double detection.

4. 결론(Conclusion)

본 연구에서는 객체 분류 알고리즘인 YOLO v8을 이용하여 기본 이미지를 사용한 모형을 구축하고 성능을 분석하였다. 기본 이미지를 사용한 Model 1은 mAP 64.4로 종별 AP의 경우 Anabaena sp., Aphanizomenon sp., Microcystis sp., Oscillatoria sp.와 Synedra sp. 각각 33.5, 62.9, 86.2, 71.3 그리고 67.9로 분석되었다. 본 연구에서는 또한 이미지 구성에 회전, 확대, 축소의 이미지를 생성하여 이미지 다양성을 높인 5가지 모형을 구축하고 이미지의 구성이 모형에 미치는 영향을 분석하였다. 5가지 모형 중 회전, 확대, 축소를 모두 적용한 Model 5가 mAP 86.5로 가장 좋은 성능을 보였으며 Model 1보다 약 34% 성능이 개선되는 것을 확인할 수 있었다. 회전을 적용한 Model 2와 회전 확대를 적용한 Model 3 그리고 회전축소를 적용한 Model 4의 경우 mAP는 각각 85.3, 82.3, 83.8로 Model 1과 비교했을 때 상대적으로 성능이 개선되었고 Model 2에 비해서는 다소 낮은 성능을 보였으나 그 차이는 크지 않았다. 세부적인 개별 이미지 분석을 통해 기존에 분류하지 못했던 조류이미지를 분류하거나, 모양이 비슷한 조류이미지를 다른 종으로 분류하는 오 분류가 감소 되는 등의 개선이 이루어져 모형의 성능이 향상하였음을 확인하였다.

조류 모니터링을 위해서는 많은 시간과 인력이 소요되며 딥러닝 기반 이미지 분류 기술의 적용을 통해 장기적으로 조류 분석에 소요되는 노력을 줄이고 자동 모니터링 시스템 구축 등을 통해 조류 모니터링의 효율을 높일 수 있을 것으로 판단된다. 딥러닝 모형의 성능은 입력자료의 특성을 반영하게 되며, 이미지 분류모형의 경우 분석 대상 이미지의 특성을 반영할 수 있는 양질의 이미지 확보가 중요하다. 본 연구에서는 조류이미지의 크기 및 방향의 변형을 통한 모형 성능의 향상을 확인하였으며, 장기적으로 다양한 이미지의 지속적인 확보 등 모형 성능향상을 위한 지속적인 연구가 필요할 것으로 판단된다.