Effect of All Sky Image Correction on Observations in Automatic Cloud Observation

자동 운량 관측에서 전천 영상 보정이 관측치에 미치는 효과

Abstract

Various studies have been conducted on cloud observation using all-sky images acquired with a wide-angle camera system since the early 21st century, but it is judged that an automatic observation system that can completely replace the eye observation has not been obtained. In this study, to verify the quantification of cloud observation, which is the final step of the algorithm proposed to automate the observation, the cloud distribution of the all-sky image and the corrected image were compared and analyzed. The reason is that clouds are formed at a certain height depending on the type, but like the retina image, the center of the lens is enlarged and the edges are reduced, but the effect of human learning ability and spatial awareness on cloud observation is unknown. As a result of this study, the average cloud observation error of the all-sky image and the corrected image was 1.23%. Therefore, when compared with the eye observation in the decile, the error due to correction is 1.23% of the observed amount, which is very less than the allowable error of the eye observation, and it does not include human error, so it is possible to collect accurately quantified data. Since the change in cloudiness due to the correction is insignificant, it was confirmed that accurate observations can be obtained even by omitting the unnecessary correction step and observing the cloudiness in the pre-correction image.

광각 카메라 시스템으로 획득한 전천 영상을 이용한 구름 관측은 21세기 초반부터 다양한 연구가 진행되었으나 목측을 완벽하게 대체할 자동 관측 시스템은 얻지 못하였다고 판단된다. 본 연구는 목측의 자동화를 목표로 제안한 알고리즘의 최종 단계인 구름 관측의 정량화를 검증하기 위하여 전천 영상과 보정 영상의 구름 분포를 비교 분석하였다. 그 이유는 구름은 종류에 따라 일정한 높이에 형성되고, 전천 영상은 망막의 영상처럼 렌즈의 중심부는 확대되고 가장자리는 축소되지만, 인간의 학습 능력과 공간 인지 능력 등이 구름 관측에 미치는 영향은 알려진 바가 없기 때문이다. 본 연구 결과는 전천 영상과 보정 영상의 구름 관측 오차가 평균은 1.23%였다. 따라서 10분위 또는 10단계로 관측되는 목측과 비교하면 보정에 의한 오차는 관측량의 1.23%로 목측의 허용 오차보다 매우 적을뿐만 아니라 인간의 실수를 포함하지 않으므로 정확히 정량화된 데이터의 수집이 가능함을 확인하였다. 또한 보정에 의한 운량의 변화가 미미하므로, 불필요한 보정 단계를 생략하고 보정 이전의 전천 영상에서 운량을 관측하여도 정확한 관측치를 얻을 수 있음을 확인하였다.

1. 서론

목측에 의존하던 구름 관측을 자동화하기 위한 다양한 연구가 진행되었음에도 현재까지 현장에서 목측을 대체할만한 수준의 시스템 개발이 이루어졌다고 볼 수 없다[1]. 기상청에서 주도적으로 개발 중인 시스템은 광각 카메라로 촬영한 전천 영상을 분석하여 구름을 관측하는 시스템이다[2][3]. 구름 관측은 디지털카메라와 컴퓨터의 발전에 따라 화상 처리 기술이 적용 가능한 분야이다[4]. 구름 관측에 있어 전천 영상의 분석은 RGB 색공간에서 색상별 또는 색상의 비율을 이용하여 구름을 관측하는 것이 일반적인 접근 방법이다. 이러한 접근 방법의 단점은 RGB 데이터를 바탕으로 색차 계산 결과를 이용하여 영상을 인식하면 치명적인 오류를 초래할 수도 있다. 그 이유는 컴퓨터에서 다루는 RGB는 시각의 RGB가 아니고 단지 코드에 불과할 뿐 아니라 균등한 색 공간(uniform color space)도 아니기 때문이다[5]. 또한, 태양의 직달광 또는 천정각이 큰 태양은 영상의 백화현상을 유발하여 구름 관측에 어려움을 제공한다. 전천 영상을 이용한 구름 관측에서 기존의 접근 방법을 극복하기 위하여 CMYK 색공간을 도입하여 유채색과 무채색으로 구분하는 보조 수단을 채용함으로써 구름의 인식률을 높일 수 있다[6][7]. 또한, 지표에 도달한 태양광의 스펙트럼은 Blue와 Green의 대역에서 강도가 최대값을 가지므로 Blue와 Green의 혼합색인 Cyan의 분포를 분석하면 구름이 없는 하늘 영역의 추출이 가능하므로 동일 영상에서 추출한 구름 분포의 검증이 가능한 장점도 갖고 있다. 기존의 RGB를 이용한 구름 관측의 단점을 보완한 개선된 구름 관측시스템으로 관측된 구름 데이터를 정량화하기 위하여 추가 연구가 요구된다. 그 이유는 일반적인 영상처리에서는 광각 영상의 왜곡을 보정한 다음 분석을 하기 때문이다. 반면 전통적인 구름의 목측에서 전천 영상의 망막 이미지는 카메라의 CCD에 맺힌 전천 영상과 유사한 속성을 갖고 있으므로 보정의 필수 여부를 확인할 필요가 있다. 본 연구에서는 CCD와 망막의 물리적 모델에 의한 속성의 비교 대신에 전천 영상의 소스와 보정된 영상에서 구름의 관측을 비교함으로써 보정 단계가 필수적 단계인지를 확인하기로 한다.

2. 구름 관측 전천 영상

목측을 대체할 자동화된 구름 관측시스템의 영상 분석은 목측, 즉 인간의 행동을 포함한 관측 속성과 같아야 정확한 관측이 가능하다. 인간의 시각 인지는 동일 객체의 거리가 멀어질수록 객체는 작아진다. 이는 전천 영상에서 구름이 중심부에서는 확대되고 가장자리는 축소되는 것과 같다. 따라서 전천 영상의 구름 관측은 보정 없이 소스 영상을 사용하여야 한다는 가설이 성립하게 된다. 즉, 일반적인 화상 처리 접근 방법인 왜곡을 수정하지 않고 소스 영상을 사용하여야 함을 의미한다. 구름의 생성은 대기 환경에 따라 구름의 종류에 따라 높이가 결정되기 때문에 특정 지역의 구름 높이는 같다고 하여도 무리는 없다. 따라서 머리 위의 구름까지의 거리는 지평선의 구름의 거리보다 짧게 인지하게 된다. 그러나 목측에 의한 운량과 전천 영상의 영상을 이용한 운량의 상관관계는 알려진 바 없으므로 목측의 방법과 속성을 바탕으로 소스 영상과 보정 영상에서 구름의 분포와 운량을 관측하여 비교 분석함으로써 영상을 이용한 구름 관측의 유용성을 검증하기로 한다.

2.1 목측에 의한 구름 관측

운량은 구름이 하늘을 덮었을 때를 10, 구름이 한 점도 없는 맑은 하늘을 0으로 정하고, 구름이 덮은 부분을 전천에 대한 10분위로 표시된다. 따라서 목측에 의한 운량 관측은 10단계이므로 데이터의 수집은 10%의 오류를 허용한다고 볼 수 있다. 전천 영상에서 구름 영역의 식별이 정확하다면 구름 영역의 픽셀을 계수하는 것이 목측보다 정확할 뿐만 아니라 관측자들의 습관 및 실수로부터 독립적이므로 객관적인 데이터의 수집이 가능하다.

2.2 구름의 색 분석

구름 영역을 구별하기 위하여 RGB의 색분포 또는 RGB의 비를 이용하는 방법은 한계가 있다. 그 이유는 구름은 무채색으로 흰색 회색 계열로 인지된다. 무채색은 RGB의 값이 비슷한 값을 갖는다. 예를 들어 RGB가 각각 ‘0’이면 백색, ‘125’이면 회색, ‘255’이면 흑색이다. 비슷한 RGB의 값에서 한 요소 이상의 값이 변화하게 되면 색조가 변화될 수 있다. 또한, 구름을 관측에 RGB의 비율을 이용할 경우, 두 색의 비가 일정하게 증감하면 색조가 변화될 수 있으므로 구름 관측에 오류를 범할 수 있다. 이는 RGB 값이 단지 코드에 불과하므로 이들을 직접 연산 처리하면 화상 처리에서 발생할 수 있는 동일한 오류를 범할 수 있다. 목측에서도 태양의 직달광이나 천정각이 큰 경우 백화현상이 발생하나 구름 관측에서 그다지 문제가 되지 않는다. 반면, 광각 카메라가 촬영한 전천 영상은 구름의 산란으로 백화현상의 영향이 구름 관측에 오류를 범할 수도 있다. 더 나아가 지표에 도달한 태양광의 스펙트럼을 분석하면 Blue와 Green의 대역에서 최대 강도를 보이므로 이들의 혼합색인 Cyan을 이용하여 전천 영상에서 하늘 픽셀을 제거한 후 구름 영역의 관측이 가능하다. 이상과 같이 RGB값과 RGB의 비율로 관측하는 단점을 극복한 개선된 구름 관측시스템은 이미 본 연구진이 개발하여 제안한 바 있다[8][9].

2.3 전천 영상의 특성

구름은 대기 환경에 따라 생성되며 구름의 종류는 시각적 형태로 분류된다. 따라서 같은 대기 환경에서 생성된 구름의 높이는 같다. 구름의 종류에 따라 높이가 일정하지만, 머리 위의 구름은 구름까지의 거리가 짧아 크게 보이고 지평선에 있는 같은 종류의 구름은 상대적으로 구름까지의 거리가 멀어지므로 작게 보인다. 이는 광각 렌즈를 장착한 카메라의 영상에서 중심부의 영상은 확대되고 주변부는 축소되는 현상과 유사하다. 반면에 일반적인 영상처리 기법에서는 전천 영상의 왜곡을 보정한 후에 영역 분활을 하지만, 인간이 인지한 하늘 관측 영상과 유사한 전천 영상을 분석하기 위하여 일반적인 영상처리의 적용이 필수적인가는 증명된 바가 없다. 이는 인간의 인지 영상과 광각 카메라 영상의 모델링이 가능하다면 두 영상의 상관관계를 명확히 할 수 있지만, 현재까지는 불가능하다. 따라서 구름을 촬영한 소스 영상과 보정 영상을 분석하여 각각 운량을 관측한 후, 데이터를 비교해 보기로 한다. 즉, 데이터를 비교하여 오차가 미미하다면 제시한 가설대로 소스 영상을 분석하여 운량을 관측하는 것이 타당하다. 여기에서 소스 영상과 보정 영상에서 운량 관측 오차가 10%보다는 유의하게 작아야 함을 의미한다. 그 이유는 10분위로 관측되는 목측의 허용 오차가 10% 정도이기 때문이다. 예를 들면 전체 하늘 영역에서 구름이 5~14%로 관측되면 운량은 ‘1’이다. 또한, 목측의 단점은 인간의 습관이나 주관적 또는 경험적 판단에 의한 휴먼에러가 포함되나 전천 영상을 이용한 구름 관측은 픽셀의 계수 결과가 운량이 되므로 구름 관측에서 목측보다 유리하다.

3. 실험 및 분석 결과

구름 관측 영상은 캐논사의 Fish-eye EF 8~15 광각 렌즈가 장착된 EOS6D카메라로 촬영하였으며 영상당 3,648 x 2,432픽셀의 jpg 파일로 보관 처리하였다. 영상 분석은 기존에 본 연구진이 제안한 관측 솔루션으로 수행되었다[8][9].

3.1 실험 방법 비교

Yabuki 등이 제안한 구름 관측 방법[2]은 전천 영상의 Red과 Blue 및 그들의 비율을 이용하여 구름을 관측하는 방법으로 가상의 맑은 하늘 영상을 태양의 위치에 따라 여러장을 준비하여야 하고 또 태양의 천청각에 따른 제약 조건이 있고 태양의 직달광에 의한 백화현상을 제거하기 위하여 렌즈 위에 설치된 금속 차폐막 자체가 운량 관측의 오차를 증가시킨다. 본 연구에서 사용된 자동 운량 관측시스템[8]은 백화현상을 색공간에서 소프트웨어적으로 처리하여 운량이 산출되므로 렌즈 위에 차폐막은 불필요하다. 따라서 임의의 장소나 시각에서 촬영된 전천 영상을 분석하여 운량을 관측할 수 있다.

3.2 실험 과정

수집한 전천 영상은 3,648 x 2,432픽셀의 jpg 영상이다. 180° 광각 렌즈이므로 가장자리에는 산, 나무 등의 자연물과 건물, 가로등, 전신주, 철탑 등 인공물이 존재한다. 관측에 영향을 끼치는 주요 방해물은 건물이다. 건물의 외장재에 따라 주간에는 태양 등의 광원을 반사하거나 야간에는 건물 내부와 외부의 조명 등이 관측 오류의 원인을 제공한다. 장기적으로도 나무나 숲이 성장으로 인하여 관찰 영역 변화하기도 한다. 이러한 변동에 대응하기 위하여 주변 정리 필터를 제안하였다[8]. 이 필터의 특징은 자연물은 자동 처리되나 인공물은 시불변으로 최초 작업때 수작업으로 제거하는 과정이 포함되어 있다. 따라서 주변 정리 필터는 적어도 분기별로 만들어 관측 영역의 변화에 대응하여야 한다. 소스 영상에 주변 정리 필터를 적용하면 하늘 영역이 결정되므로 이 관측 영역을 관측창이라 정의하였다. 그림 1의 두 그림을 비교하면 원주 부분이 정리되어 관측 영역(관측 창)이 구분됨을 알수 있다.

그림 1. 원본 영상과 주변 정리 필터가 적용된 영상

Fig. 1. A source image(top) and image with ambient clean-up filter applied(bottum)

구름 영역 관측 알고리즘[8]의 입력은 그림 1의 하단 그림이다. 알고리즘은 먼저 RGB를 분리한 후 CMYK와 HSV 색공간으로 변환한다. CMYK 색공간으로 변환하면 무채색인 구름은 백색 회색 및 검정색 등의 선형적인 데이터로 변환되어 Key값으로 표현된다. 즉, 구름은 백색과 회색으로 표현되므로 Key값을 이용하여 맑은 하늘 영역과 구름 영역을 분리한다. HSV 색공간에서 H(Hue)값과 S(Saturation)값으로 구름 영역을 제외한 하늘 영역에서 하늘의 청명도의 관측이 가능하다. 하늘의 청명도는 황사와 미세 먼지를 관측하는데 응용할 수 있다[9]. 태양의 직달광이 렌즈에 직접 도달하면 CCD 센서를 포화시켜 백화현상이 발생된다. 이를 방지하기 위하여 그림 2와 같이 태양 추적 차폐물[10]을 렌즈 위에 설치하기도 하지만 기종에 따라 렌즈 면적 대비 최대 20% 까지 차지하고 있어 항상 정확한 관측을 담보하기 어렵다. 그림 3은 RGB 색 공간에서 CMYK 및 HSV 색공간으로 변환된 결과를 보인 것이다. 그림 3를 보면 RGB 색공간에서 백화현상이 영상의 좌상단 10시 방향에 발생하였음을 알 수 있다.

그림 2. 차폐막이 설치된 전천영상 촬영 시스템

Fig. 2. All-sky imaging system with shielding screen installed

그림 3. RGB, CMYK, HSV 색공간에서 색 분석

Fig. 3. Color analysis at RGB, CMYK, HSV color space

본 실험에서 사용된 관측 솔루션[9]은 그림 1처럼 태양의 직달광을 차폐하는 장치는 없다. 영상의 색공간을 RGB에서 CMYK나 HSV로 변환시켜 처리하면 그림 3에 보인 바와 같이 백화현상은 효율적으로 제거된다. Yabuki 등이 제안한 방법[2]은 가상의 맑은 하늘 영상을 도입하여 구름과 하늘 영역을 각각 구별하였으나 본 연구에서 제안한 방법은 먼저 전천 영상에 그림 1과 같이 주변 정리 필터를 적용하여 관측 영역을 도출한다. 여기서 전천 영상에 주변 정리 필터를 적용한 관측창은 관측대상인 하늘 상태만 볼 수 있다. 관측창에서 청명한 하늘 영역을 구별하여 제거하면 구름 영역이 남는다. 이는 관측자가 관측창을 통하여 본 전천 영상에서 운량을 결정하는 것과 유사하다. 그림 3에 보인 바와 같이 하늘과 구름을 상대적으로 명확히 구분하는 색조는 RGB에서는 Red, CMYK에서는 Cyan이 하늘과 구름 영역을 명확히 구분할 뿐만 아니라 백화현상도 제거되었다. 또한, 하늘에서 순수한 Red(R 값이 255)는 백화현상에서만 가능하므로 논리적 Cyan(Logical Cyan)을 정의하고 활용하였다.

\(\begin{aligned}Logical Cyan=Cyan+\overline{\text { Red }}\end{aligned}\)       (1)

여기서 \(\begin{aligned}\overline{\text { Red }}=1-(Red/255)\end{aligned}\) 이다.

이를 이용하여 강화된 하늘과 구름의 영역을 분할한 것이 그림 4이다. 이 결과는 기존에 제안되었던 구름 관측 방법보다 하늘과 구름 영역을 정확히 구분할 뿐만 아니라 색조에 따라 태양이 구름층을 투과하는 정도를 알 수 있으므로 추가 연구가 요구되지만, 구름층의 광학적 투과 정도를 관측할 수 있다.

그림 4. 논리적 Cyan 영상(흑색이 하늘영역)

Fig. 4. Logical Cyan image(Black is sky region)

본 연구에서 사용된 소스 영상은 그림 4이며. Fish-eye의 왜곡이 구름 관측에 미치는 영향을 알아보기 위하여 보정된 영상과 소스 영상에서 구름 영역을 조사하였다. 그 이유는 일반적인 화상 처리에서 영역 구분은 통상 보정 후에 계산된다. 그러나 구름 관측에서 인간이 인지하는 영상은 머리 위의 구름까지의 거리가 최소이고 지평선 쪽에 근접할수록 거리가 멀어지므로 작아진다. 그 이유는 대기 환경과 조건에 따라 생성되는 구름의 높이는 일정하기 때문이다. 이는 광각 카메라의 촬영 영상과 동일한 속성을 보이지만 두 영상의 정량적인 상관관계는 알 수 없다. 즉, 목측을 대체하기 위한 목적이라면 속성이 유사한 소스 영상을 사용함이 합리적이나 일반적인 영상 처리 방법은 아니기 때문이다. 따라서 구름 관측에 있어 소스 영상과 보정 영상의 상관관계를 조사함으로써, 앞에서 기술한 가설처럼 목측과 비교할 경우 소스 영상의 사용 가능성을 검증하기로 한다.

4. 결론

소스 영상의 왜곡 요인은 렌즈 중심에서의 법선이 지표면과 수직을 유지하지 못했기 때문이다. 이는 설치 시나 유지 보수 시 보정에 주의를 기울여도 실질적으로는 왜곡을 피할 수 없다. 그림 5는 보정 전후의 영상을 보인 것으로 관측 영역(관측창)의 넓이는 소스 영상이 3.6 × 10⁶pixcels, 보정 영상이 4.6 × 10⁶pixcels이었다.

그림 5. 소스 영상과 보정 영상의 관측 영역

Fig. 5. Observation area comparison between a source and its corrected image

27개의 소스 영상에서 보정한 영상을 생성하여 각각의 운량을 비교한 결과를 보면 두 운량 관측치만을 비교하면 최대 4.67%, 최소 0.1%의 차이를 보였으며 평균과 표준편차는 1.23% ± 1.15%로 분석되었다. 이는 목측의 측정이 10분위로 관측되는 것과 비교하여도 허용할 만한 오차로 판단된다. 보정 영상과 전천 영상의 운량비를 보면 최대는 1.09, 최소는 0.92였으며 평균과 표준편차는 0.0994 ± 0.035로 분석되었으므로 우리의 가설이 입증되었다. 따라서 보정 이전의 전천 영상에서 운량을 측정한 결과와 목측 측정치와 비교하는 것도 타당하다고 판단된다.