Development of a Smartphone-Based Pronunciation Assessment and Feedback System Using Three-Dimensional Vowel Space Analysis and Lip Contour Extraction

스마트폰 기반 3차원 모음공간 분석 및 입술 윤곽 추출을 활용한 발음 평가·교정 시스템 개발

The rapid globalization of Korean culture has precipitated a surge in Korean language learners, yet effective pronunciation training remains a significant pedagogical bottleneck. Traditional Computer-Assisted Pronunciation Training (CAPT) systems typically rely on two-dimensional acoustic analysis or automatic speech recognition confidence scores. These methods fundamentally fail to capture the temporal stability of vowel production-treating pronunciation as a static point rather than a dynamic distribution-and neglect the critical articulatory role of lip kinematics. This research presents the development of a novel smartphone-based biofeedback system that integrates 3D Vowel Space Analysis with Real-Time Lip Contour Extraction. By employing Kernel Density Estimation (KDE) on accumulated formant trajectories, the system visualizes the "density" of a learner's pronunciation in three dimensions. Simultaneously, a computer vision pipeline utilizes the MediaPipe Face Mesh to extract facial landmarks, providing immediate visual feedback on lip rounding. This multimodal approach effectively decouples acoustic errors from articulatory misconfigurations.

본 연구는 전 세계적으로 급증하는 한국어 학습 수요에 대응하여, 스마트폰만으로 정밀한 발음 교정이 가능한 시스템을 개발하는 것을 목적으로 한다. 기존의 2차원 평면 기반 음향 분석이 간과해 온 발화의 시공간적 안정성 (Stability)과 한국어 모음 변별의 핵심 기제인 입술 모양(lip rounding)을 통합적으로 분석한다. 연구 방법으로는 모바일 환경에서 선형 예측 부호화(LPC)를 통해 포먼트를 추출하고 커널 밀도 추정(KDE)을 적용하여 '3차원 포먼트 밀도' 지형도를 생성하며, 동시에 MediaPipe Face Mesh 기술로 입술의 개구도와 원순성을 정량화한다. 연구 결과, 개발된 시스템은 학습자가 생성하는 모음의 음향적 분산을 3차원 산맥 형태로 시각화하여 발음의 견고성을 인지하게 하였으며, 유사한 포먼트 값을 가지더라도 입술 모양이 잘못된 경우를 실시간으로 탐지하여 교정 효율을 높였다. 본 연구는 '점' 중심의 발음 평가를 '분포' 중심으로 전환하고, 음성학과 컴퓨터 비전 기술을 융합하여 모바일 컴퓨터 기반 컴퓨터 보조 발음훈련 (computer-assisted pronunciation training; CAPT) 시스템의 새로운 표준을 제시하였다.