Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2022.10a
- /
- Pages.604-607
- /
- 2022
- /
- 2005-3053(pISSN)
Question, Document, Response Validator for Question Answering System
질의 응답 시스템을 위한 질의, 문서, 답변 검증기
- Tae Hong Min (NAVER Corporation) ;
- Jae Hong Lee (NAVER Corporation) ;
- Soo Kyo In (NAVER Corporation) ;
- Kiyoon Moon (NAVER Corporation) ;
- Hwiyeol Jo (NAVER Corporation) ;
- Kyungduk Kim (NAVER Corporation)
- Published : 2022.10.18
Abstract
본 논문은 사용자의 질의에 대한 답변을 제공하는 질의 응답 시스템에서, 제공하는 답변이 사용자의 질의에 대하여 문서에 근거하여 올바르게 대답하였는지 검증하는 QDR validator에 대해 기술한 논문이다. 본 논문의 과제는 문서에 대한 주장을 판별하는 자연어 추론(Natural Language inference, NLI)와 유사한 과제이지만, 문서(D)와 주장(R)을 포함하여 질의(Q)까지 총 3가지 종류의 입력을 받아 NLI 과제보다 난도가 높다. QDR validation 과제를 수행하기 위하여, 약 16,000 건 데이터를 생성하였으며, 다양한 입력 형식 실험 및 NLI 과제 데이터 추가 학습, 임계 값 조절 실험을 통해 최종 83.05% 우수한 성능을 기록하였다