Acknowledgement
이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2019R1A2C2006010)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2020.10a
- /
- Pages.141-144
- /
- 2020
- /
- 2005-3053(pISSN)
Korean sentence spacing correction model using syllable and morpheme information
음절과 형태소 정보를 이용한 한국어 문장 띄어쓰기 교정 모델
- Choi, Jeong-Myeong (Hallym University, Department of Convergence Software) ;
- Oh, Byoung-Doo (Hallym University, Department of Convergence Software) ;
-
Heo, Tak-Sung
(Hallym University, Department of Convergence Software)
;
- Jeong, Yeong-Seok (Hallym University, College of Software) ;
- Kim, Yu-Seop (Hallym University, College of Software)
- 최정명 (한림대학교 융합소프트웨어학과) ;
- 오병두 (한림대학교 융합소프트웨어학과) ;
-
허탁성
(한림대학교 융합소프트웨어학과)
;
- 정영석 (한림대학교 소프트웨어융합대학) ;
- 김유섭 (한림대학교 소프트웨어융합대학)
- Published : 2020.10.14
Abstract
한국어에서 문장의 가독성이나 맥락 파악을 위해 띄어쓰기는 매우 중요하다. 또한 자연 언어 처리를 할 때 띄어쓰기 오류가 있는 문장을 사용하면 문장의 구조가 달라지기 때문에 성능에 영향을 미칠 수 있다. 기존 연구에서는 N-gram 기반 통계적인 방법과 형태소 분석기를 이용하여 띄어쓰기 교정을 해왔다. 최근 들어 심층 신경망을 활용하는 많은 띄어쓰기 교정 연구가 진행되고 있다. 기존 심층 신경망을 이용한 연구에서는 문장을 음절 단위 또는 형태소 단위로 처리하여 교정 모델을 만들었다. 본 연구에서는 음절과 형태소 단위 모두 모델의 입력으로 사용하여 두 정보를 결합하여 띄어쓰기 교정 문제를 해결하고자 한다. 모델은 문장의 음절과 형태소 시퀀스에서 지역적 정보를 학습할 수 있는 Convolutional Neural Network와 순서정보를 정방향, 후방향으로 학습할 수 있는 Bidirectional Long Short-Term Memory 구조를 사용한다. 모델의 성능은 음절의 정확도와 어절의 정밀도, 어절의 재현율, 어절의 F1 score를 사용해 평가하였다. 제안한 모델의 성능 평가 결과 어절의 F1 score가 96.06%로 우수한 성능을 냈다.