과제정보
본 연구는 삼성중공업 산학연구용역 과제의 지원을 받아 수행되었음
한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)
- 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
- /
- Pages.225-228
- /
- 2019
- /
- 2005-3053(pISSN)
BERT를 이용한 지도학습 기반 문장 임베딩 모델
Supervised Learning for Sentence Embedding Model using BERT
- Choi, Gihyeon (Kangwon National University Computer and Communication Engineering) ;
- Kim, Sihyung (Kangwon National University Computer and Communication Engineering) ;
- Kim, Harksoo (Kangwon National University Computer and Communication Engineering) ;
- Kim, Kwanwoo (Samsung Heavy Industries) ;
- An, Jaeyoung (Samsung Heavy Industries) ;
- Choi, Doojin (Samsung Heavy Industries)
- 발행 : 2019.10.10
초록
문장 임베딩은 문장의 의미를 잘 표현 할 수 있도록 해당 문장을 벡터화 하는 작업을 말한다. 문장 단위 입력을 사용하는 자연언어처리 작업에서 문장 임베딩은 매우 중요한 부분을 차지한다. 두 문장 사이의 의미관계를 추론하는 자연어 추론 작업을 통하여 학습한 문장 임베딩 모델이 기존의 비지도 학습 기반 문장 임베딩 모델 보다 높은 성능을 보이고 있다. 따라서 본 논문에서는 문장 임베딩 성능을 높이기 위하여 사전 학습된 BERT 모델을 이용한 문장 임베딩 기반 자연어 추론 모델을 제안한다. 문장 임베딩에 대한 성능 척도로 자연어 추론 성능을 사용하였으며 SNLI(Standford Natural Language Inference) 말뭉치를 사용하여 실험한 결과 제안 모델은 0.8603의 정확도를 보였다.