A Study on Face Recognition Using Diretional Face Shape and SOFM

방향성 얼굴형상과 SOFM을 이용한 얼굴 인식에 관한 연구

Abstract

This study proposed a robust detection algorithm. It detects face more stably with respect to changes in light and rotation for the identification of a face shape. Also it satisfies both efficiency of calculation and the function of detection. The algorithm proposed segmented the face area through pre-processing using a face shape as input information in an environment with a single camera and then identified the shape using a Self Organized Feature Map(SOFM). However, as it is not easy to exactly recognize a face area which is sensitive to light, it has a large degree of freedom, and there is a large error bound, to enhance the identification rate, rotation information on the face shape was made into a database and then a principal component analysis was conducted. Also, as there were fewer calculations due to the fewer dimensions, the time for real-time identification could be decreased.

본 논문은 얼굴 형상 인식을 위한 보다 안정적이며 조명 변화와 회전에 강인하게 얼굴 영역을 검출하며, 계산의 효율성과 검출 성능을 동시에 만족시키는 강인한 검출 알고리즘에 대해 제안한다. 제안한 알고리즘은 단일 카메라 환경에서 얼굴 형상을 입력정보로 사용하여 전처리 과정을 거쳐 얼굴 영역만을 분할한 후 자기 조직화 특징 지도(SOFM) 알고리즘을 이용하여 얼굴 형상을 인식하게 된다. 그러나 조명 변화에 민감하고 자유도가 큰 얼굴 영역을 정확히 인식하기란 쉽지 않으며 오차 범위도 크기 때문에 본 논문에서는 인식률을 높이기 위해 각각의 얼굴 형상에 대한 회전 정보를 데이터베이스화 한 후 주성분 분석을 적용하여 군집화 함으로서 인식오차를 줄였다. 또한 차원 축소로 인해 많은 계산량이 요구되지 않기 때문에 실시간 인식 시간도 줄일 수 있었다.

Ⅰ. 서론

인간의 행동 분석^[1,2]에 대해 다양한 분야에서 각각의 특성에 맞는 연구가 진행되고 있지만 그 중에서도 생체인식 분야가 주류가 된다고 해도 과언이 아닐 것이다. 생체인식 중에서도 얼굴 인식은 템플릿 매칭 접근, 통계적 분류 접근, 구문적 접근 및 신경망 접근 방법의 4가지 방법으로 분류할 수 있다^[3]. 이 중에서 통계적 분류방법으로 주성분 분석(PCA)에 의한 얼굴 인식^{[4,5][13, 14, 15, 16]}, 서포트벡터머신(SVM)에 의한 얼굴 인식^[4][11], 선형판별분석(LDA) 의한 얼굴 인식^[5][6], 독립성분분석(ICA)에 의한 얼굴 인식^[8]과 신경망(Neural Network)에 의한 얼굴 인식^[9] 등이 계산 량이 적으므로 얼굴 인식에서 주류를 이루고 있다.

본 논문에서는 얼굴 인식을 위한 보다 안정적이며 조명 변화와 회전에 강인하게 얼굴 영역을 검출하며, 계산의 효율성과 검출 성능을 동시에 만족시키는 강인한 인식 알고리즘에 대해 제안한다. 제안하는 시스템은 전처리 과정을 거쳐 영상의 정규화를 진행하였다. 첫째, 정규화된 영상에서 얼굴 영역만을 정확하게 분할 검출하기 위해 밝고 어두운 두 영상의 차분연산을 통해 배경 영역을 제거함으로써 얼굴 후보 영역을 검출한다. 둘째, 검출된 후보 영역에 대해 주성분분석(PCA)을 적용하여 고차원의 데이터에 대해 차원을 축소하여 저차원의 특징 벡터를 구한 후 특징 벡터를 서포트벡터머신(SVM)에 적용하여 이진 분류를 수행함으로써 얼굴영역 후보에 대한 정확한 검증을 수행한다. 마지막으로 검증과정을 거친 특징 벡터를 이용하여 최종 얼굴을 인식한다.

또한 얼굴의 인식률을 높이기 위해 입력되는 각 얼굴 영상의 방향을 좌·우 45° 회전 정보를 갖는 영상을 획득한 후 데이터베이스를 생성하여 대표값을 구하고 PCA를 적용하여 고유공간에 투영시킴으로써 얼굴의 특징 값을 산출한다. 이 과정을 통해 입력 방향에 따른 인식률에 대해 안전성과 정확성을 향상시킬 수 있었다. 또한 차원 축소로 인해 많은 계산량이 요구되지 않기 때문에 실시간 인식 시스템에도 적용할 수 있다.

Ⅱ. 관련연구

1. 전체 시스템 구성도

본 논문에서는 얼굴 영상을 정확히 분석하고 인식하기 위해 PCA를 적용하여 각각의 얼굴 영상을 고유 공간에 투영시킨 후 추출된 특징 값을 대상으로 SVM에 적용한 후 SV를 구하여 이진분류를 수행함으로써 얼굴에 대한 검증을 수행한다. 그림 1은 본 논문에서 제안하는 전체 시스템 구성도이다.

그림 1. 알고리즘 전체 시스템

Fig. 1. Algorithm of the Whole System

2. 얼굴 영역 검출

본 논문에서는 조명 변화로 인한 배경의 밝기 변화를 측정하여 시간 요소(t)를 고려해서 일정 시간 T_i동안 배경 영상 I_t를 취득한 다음 영상 영역 R내에 있는 각 픽셀(x)들을 분석하여 조명이 가장 밝았을 때의 화소 값 P_max(x)와 가장 어두울 때의 화소 P_min(x)을 얻는다. 이 두 화소 값의 차이 D(x)는 조명의 변화로 나타날 수 있는 밝기의 임계치이다. 이 방법은 임의의 한 특정한 밝기 값을 가진 영상을 이용했을 때보다 목표 영역에 대한 접근 및 검출을 더욱 정확하게 할 수 있게 되며, 식(1-4)와 표현할 수 있다.

\(B M=\left\{P_{\max }(x), P_{\min }(x), D(x)\right\}_{x \in R}\)       (1)

\(P_{\max }(x)=\operatorname{Max} I_{t}(x),\left(1 \leq t \leq T_{i}\right)\)       (2)

\(P_{\min }(x)=\operatorname{Min} I_{t}(x),\left(1 \leq t \leq T_{i}\right)\)       (3)

\(D(x)=P_{\max }(x)-P_{\min }(x)\)       (4)

일단 배경 모델이 만들어지면 이진 영상 B(x)는 식 (5)서 보여주는 것처럼 입력 영상 I(x)의 가장 밝은 화소값 P_max(x)와 가장 어두운 화소값 P_min(x)의 차분 연산을 통해 얻은 차이 값이 D(x)임계치 보다 크면 최대값 (255)을 그렇지 않으면 최소값(0)의 화소값을 갖게 한다.

\(B(x)=\left\{\begin{array}{c} 255 \text { if }\left|P_{\max }(x)-I(x)\right| \text { or }\left|P_{\min }(x)-I(x)\right|>D(x) \\ 0 & \text { otherwise } \end{array}\right\}\)       (5)

식(2)의 결과로 얻어진 이진 영상에는 배경 모델에서 설정한 밝기 값의 임계치를 벗어나는 조명의 변화로 인해 배경임에도 불구하고 전경 영역으로 분리되어 1픽셀의 잡음 점들이 포함될 수 있음으로 모폴로지 연산을 통해서 잡음을 제거하였다.

3. PCA에 의한 얼굴 공간

본 논문에서는 안정된 인식률을 얻기 위해 PCA를 이용해 파라메트릭 공간을 생성하여 얼굴의 방향성 문제를 해결하는 방법을 제시한다. 이는 입력 영상의 변화율을 크게 하기 위해 각 얼굴 영상에 대해 좌·우 45°씩 틀어 회전 정보를 갖는 영상을 데이터베이스화함으로써 입력 영상의 방향이 틀어져도 같은 영상으로 인식할 수 있게 된다. 그림 2는 자유롭게 입력되는 얼굴의 방향성을 고려하여 얼굴 영상을 5°씩 틀어서 획득한 영상의 일부이다(1얼굴=19개의 영상으로 분할 구성).

그림 2. 입력 방향성을 고려한 얼굴 영상

Fig. 2. Facial image in consideration of the directionality

가. 고유 공간 구성

고유벡터를 계산하기 위해서는 먼저 모든 영상의 평균 데이터를 구하여 각 영상들의 데이터의 차를 구한다. 그림 3은 모델 영상에 대한 평균영상을 구하는 것을 보여주고 있다. 이렇게 구해진 평균 데이터 Ⅽ와 새로운 영상 데이터 집합 X를 식(6)과 식(7)과 같이 나타낸다.

그림 3. 모델영상에 대한 평균 영상

Fig. 3. Average image of the model image

\(C=(1 / N) \sum_{i=1}^{N} x_{i}\)       (6)

\(X^{\Delta}=\left\{x_{1,1}^{(1)}-c, x_{2,1}^{(1)}-c, \ldots, x_{R, 1}^{(1)}-c, \ldots, x_{R, L}^{(P)}-c\right\}\)       (7)

고유공간을 구하기 위해서는 M * N의 크기를 지닌 영상 집합 Ⅹ를 식(8)과 같이 계산하고 식(9)를 만족하는 고유벡터를 구하면 된다. 즉, 공분산 행렬 Q에 대한 고유치 λ와 고유벡터 e를 구한다.

\(Q^{\Delta}=X X^{T}\)       (8)

\(\lambda_{i} e_{t}=\boldsymbol{Q} \mathrm{e} \mathrm{i}\)       (9)

여기서 M은 한 영상의 데이터(100x100)이고 N은 전체 영상의 개수를 나타내는 정수이다.

본 논문에서는 특이치 분해(SVD)를 이용하여 고유 공간을 구하여 영상 집합 X의 공분산 행렬에 대한 고유 벡터를 얻었다.

행렬은 식(10)과 같이 분해가 가능하며 원 식은 식 (11)과 같이 나타낼 수 있다.

\(X=\sum_{i=1}^{r} \sigma_{i} V_{i} u_{i}^{T}\)(10)

\(X = V \sum U^T \)      (11)

V와 U 행렬은 각각 직교 행렬이기 때문에 식(12)에서 나타낸 것처럼 표현된다.

\([V^T] • [V] = [U^T] • [U] = [I]\)       (12)

이런 과정으로 얻어진 행렬 중 공분산의 고유 벡터로 이용되는 행렬은 공분산 행렬 X와 크기가 일치하는 U이다. 각 고유벡터가 지닌 고유치의 크기는 그 고유벡터의 중요도를 의미하므로 그 고유공간을 규정하는 중요 고유 벡터를 식(13)을 이용하여 선택한다. 따라서 모든 고유벡터를 고유 공간 구성에 이용하지 않고 많은 영상을 대표할 수 있는 주성분의 벡터만을 이용할 수 있으며, 얼굴 영상의 고유 공간으로 표현한다.

\(\frac{\sum_{i=1}^{k} \lambda_{i}}{\sum_{i=1}^{N} \lambda_{i}} \geq T_{1}\)      (13)

나. 고유공간에서의 상관관계

앞 절에서 얻어진 얼굴 영상의 고유 공간에서 평균 영상 C에서 뺀 영상 집합 x를 모두 식(14)을 이용하여 투영시킨다.

f_j = [e₁, e₂, e₃,......., e_k ]^T(x_n - c)​       (14)

구해진 f_j 얼굴 영상의 고유 공간상에서 점들로 표현되는데 이러한 점들을 각 얼굴의 특징 심볼을 구한 것과 같다. 고유공간에 투영시킨 결과 이산적인 점들로 표현되며, 비슷한 특징 값을 가지는 벡터는 고유공간에서도 가까운 곳에 투영된다. 즉, 가까울수록 영상들의 높은 상관 관계를 가진다.

4. 얼굴형상 인식

가. 제안한 신경망 알고리즘

본 논문에서 제안하는 SOFM은 학습단계에서 다차원 공간상의 특징 벡터로 표현되는 객체들이 경쟁층에서 스스로 유사한 패턴끼리 2차원의 특징지도를 조직화하여 영역지도를 형성하고, 인식단계에서는 학습단계에서 훈련된 연결 가중치 하에서 미지의 특징벡터에 대하여 반응이 일어나는 위치를 통하여 해당 클래스를 인식하게 된다.

나. SOFM의 학습과정

(1) 경쟁(Competitive)과정

각 뉴런은 입력공간을 구성하는 N차원의 특징벡터와 연결강도에 의하여 연결된다(연결강도 0∼1로 초기화). 입력 패턴이 주어지면 모든 뉴런의 연결강도와 거리를 계산하여 거리가 최소가 되는 뉴런이 승자가 된다(그림 4).

그림 4. 입력특징벡터와 모델특징벡터간의 경쟁과정

Fig. 4. Competition Process between Input Feature Vector and Model Feature Vector

(2) 협동(Cooperation)과정

경쟁과정에서 거리가 가장 최소가 되는 승자만이 출력을 낼 수 있으며, 승자의 이웃들만이 연결 강도를 조정할 수 있도록 한다(그림 5).

그림 5. 승자뉴런에 가장 인접한 뉴런

Fig. 5. neurons closest to the winner neuron

본 논문에서 제안하는 SOFM은 학습단계에서 다차원 공간상의 특징 벡터로 표현되는 객체들이 경쟁층에서 스스로 유사한 패턴끼리 2차원의 특징지도를 조직화하여 영역지도를 형성하고, 인식단계에서는 학습단계에서 훈련된 연결 가중치 하에서 미지의 특징벡터에 대하여 반응이 일어나는 위치를 통하여 해당 클래스를 인식하게 된다. 그림 3은 시스템 구성도이다.

(3) 적응(Adaptation)과정

승자뉴런과 그와 이웃한 뉴런들이 특정한 입력 값에 더욱 민감해지도록 활성함수를 적응시켜 연결강도를 갱신한다. 가까운 뉴런이 멀리 있는 뉴런보다 더욱 강하게 적응이 된다. 그림 5의 점선과 실선부분이 그것을 나타낸다.

그림 6. 최상위 뉴런을 찾는 과정

Fig. 6. finding the highest neuron

다. SOFM의 학습 3단계

1단계: 연결강도 초기화

N개의 입력로부터 M개의 출력뉴런 사이의 연결강도를 작은 값의 임의의 수로 초기화한다. 연결강도는 h_jk(t)에 따라 점차 줄어든다.

2단계: 입력벡터가 제시되고 경쟁

입력 벡터와 모든 뉴런들 간의 거리를 계산한다. 입력과 출력뉴런 K사이의 거리는 식(2)와 같이 계산되고 그 중에서 가장 최소 값이 선택된다.(그림 7)

그림 7. 입력영상과 모델영상의 거리

Fig. 7. distance between input image and model image

i(X^(∈) = argmin_j∥X^(∈ - W_j∥       (15)

X^(∈는 시간 t에서 i번째 입력벡터, W_j는 시간 t에서 i번째 입력벡터와 j번째 출력뉴런 사이의 연결 강도이다.

3단계: 선택된 뉴런과 그 이웃 반경 내의 뉴런들의 연결강도를 갱신(협동과정과 적응과정)

연결강도의 갱신은 식(16)에 의해 갱신된다.

\(W_{k}=W_{k}+\eta(t) \cdot h_{i k}(t) \cdot\left(X^{(\epsilon}-W_{j}\right)\)       (16)

η(t)∙ h_ik(t)는 0과 1사이의 값을 가지는 이득항 (Gain Term)인데 시간이 경과함에 따라 점차 작아진다. 학습률 감소 함수를 사용하며, 식(17)와 같다.

\(\eta(t)=\eta_{0} \exp \left(-\frac{t}{T_{1}}\right)\)        (17)

η(0) :초기학습 이득, t:학습반복 회수, T₁ :학습률 시상수

본 논문에서는 거리에 따라 다른 이득으로 학습되는 방법을 적용하였으며, 식(18)과 같다.

\(w_{i j}(t+1)=w_{i j}(t)+\eta(t) m_{i j}\left(x_{i}(t)-w_{i j}(t)\right)\)​       (18)

m_ij :이웃 뉴런의 이득

III. 실험 및 결과

얼굴 인식 과정은 첫째, 카메라로부터 촬영된 640*480의 입력 영상을 전처리과정으로 100*100으로 정규화 하였으며, 연산속도를 줄이기 위해 모델 영상을 Gray Level로 변환하였다. 그림 8은 정규화 과정을 거쳐 최적의 모델을 생성하기 위한 전처리과정을 보여준다. 둘째, 조명변화에 덜 민감하게 하기 위해 서로 다른 밝기값을 가진 두 영상의 차를 이용하여 임계치를 적용함으로써 목표 영역에 대한 접근 및 검출 능력을 향상시켰다. 셋째, PCA를 이용하여 고차원의 데이터를 저차원의 데이터로 차원을 축소하여 특징값을 추출한 후 고유공간에 투영시킨다.

그림 8. 최적의 모델 생성을 위한 전처리 과정

Fig. 8. Pre-processing for creating the best model

넷째, SOFM 알고리즘의 경쟁과정, 협동과정, 적응과 정을 통해 입력 영상의 특징 벡터와 모델 영상의 특징 벡터의 거리를 계산한 후 연결강도의 가중치를 부여함으로서 입력 영상과 모델 영상간의 거리가 최소값(0)이 되는 최상위 모델을 찾아 얼굴 형상으로 인식한다(그림 9). 그림 10은 시스템 상에서 얼굴 형상 인식 결과를 보여준다.

그림 9. 최상의 모델로 인식된 얼굴형상

Fig. 9. Face shape recognized as top model

그림 10. 최상위 모델로 오인식한 상황

Fig. 10. misrecognized situation as top model형상 인식시스템

그림 11. SOFM을 활용한 얼굴형상 인식시스템

Fig. 11. Face Shape Recognition System Using SOFM

표 1의 인식결과를 분석해 보면 첫째, 패턴 인식은 기하학적인 정보만을 이용하기 때문에 입력 영상의 방향이 조금만 틀어져도 기하학적인 정보가 매칭이 되지 않기 때문에 인식률은 현저히 떨어진다. 둘째, PCA의 경우 입력 형상이 거의 비슷하다면 다른 형상인데도 불구하고 같은 형상으로 오-인식하는 문제가 자주 발생한다. 셋째, SOFM의 경우 PCA로 획득한 특징정보를 학습단계에 걸쳐 입력 영상에 대해 연결강도를 강화할 수 있음으로 모델영상에 속하는 형상에 대해서 다른 형상을 같은 형상으로 오-인식하는 문제가 많이 개선되어 높은 인식률을 보인다. 하지만 모델영상에 속하지 않을 때는 입력 영상의 특징과 모델영상의 특징을 비교하는 과정에서 거리가 가장 가까운 것을 최상의 모델로 인지하기 때문에 다른 알고리즘보다 실패율에 있어 많은 개선을 보였지만 여전히 오-인식하는 문제가 존재한다.

표 1. 인식 방법에 따른 성능평가 분석표(%)

Table 1. Performance Evaluation Analysis Tables based on Recognition Method(%)

표 2는 제안한 알고리즘에 대한 조명 변화에 따른 실시간 인식 성능을 분석한 결과로써 조명이 밝았을 때와 어두웠을 때 인식률이 떨어지는 것은 입력 영상에서 얼굴 영역의 검출이 정확히 이루어지지 않았기 때문이다. 인식 시간에서도 단적인 밝기 정보보다 두 영상의 차를 이용한 경우가 약 0.5∼0.6초 정도 더 빠른 인식을 보였다.

표 2. 조명변화에 따른 얼굴 영역 검출 비교(%)

Table 2. Face detection by comparison to lighting changes(%)

또한 가변적인 조명환경에서 얼굴 검출율을 확인하기 위한 실험으로 본 논문에서 제안하는 방법이 89.5%로 앞의 두 조명 조건에 비해 높은 검출율을 보였다. 이 실험을 통해 얼굴 검출에 있어 조명의 변화는 매우 민감한 요소가 된다는 것을 다시 한 번 알 수 있었다.

표 3에서의 인식률을 보면 단순한 배경에서의 입력 영상이 96.2%로 매우 높은 인식률을 보여주고 있다. 즉, 영상 내에 포함된 값 중 배경이 얼굴의 고유한 특성과 비슷한 정보를 가지고 있는가에 따라 인식률의 차이를 보인다고 할 수 있다.

표 3. 배경변화에 따른 인식률 비교(%)

Table 3. Recognition compared to the background changes(%)

Ⅳ. 결론

본 논문에서는 얼굴 인식을 위한 보다 안정적이며 조명 변화와 회전에 강인하게 얼굴 영역을 검출하며, 계산의 효율성과 검출 성능을 동시에 만족시키는 강인한 인식 알고리즘에 대해 제안한다.

웹 카메라를 통해 얼굴 영상이 입력되면 높은 전처리 과정을 거쳐 정규화 한 후 정규화된 영상에서 얼굴 영역만을 정확하게 분할 검출하기 위해 서로 다른 밝기 값을 가진 두 영상의 차분연산을 통해 목표 영역에 대한 접근 및 검출 능력을 향상시켰다. 검출된 후보 영역에 대해 주성분분석(PCA)을 적용하여 특징 벡터를 구한 후 SOFM 의 학습과정을 통해 입력 영상의 특징 벡터와 모델 영상의 특징 벡터의 거리를 계산한 후 초기 연결강도로부터 점차 연결강도의 가중치를 부여함으로서 입력 영상과 모델 영상간의 거리가 최소값(0)이 되는 모델을 찾고, 찾은 최소값의 모델을 최상위 모델로 선택하여 얼굴 형상으로 인식하였다.

또한 얼굴 형상의 인식률을 높이기 위해 각각의 얼굴 형상을 5°씩 틀어 360° 회전을 가진 데이터베이스를 생성하고 기존의 모델 영상 내의 각각의 얼굴 형상에 대한 대표 값을 만든 후에 PCA을 적용하여 실험 영상을 고유 공간에 투영시켜서 나온 성분과 대표 값의 거리를 비교함으로써 방향성에 대한 인식 오차를 줄임으로서 보다 안정적으로 얼굴 형상을 인식할 수 있게 되었다. 그 결과 기존 다른 알고리즘 보다 인식률이 개선되었으며, 얼굴 형상 인식률에 대한 안전성과 정확성을 향상시킬 수 있었다. 또한 차원 축소로 인해 많은 계산량이 요구되지 않기 때문에 실시간 인식 시간도 줄일 수 있었다. 그러나 얼굴 형상이 90가 되었을 경우와 모델구성에 속하지 않을 때에는 잘못된 얼굴 형상으로 인식하는 경우가 종종 발생하였다.

향후에는 이러한 문제점을 해결할 수 있는 보다 안정적인 얼굴 형상 인식 알고리즘을 개발할 계획이다.