Acknowledgement
이 논문은 2019년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(2019-000004, 준지도학습형 언어지능 원천기술 및 이에 기반한 외국인 지원용 한국어 튜터링 서비스 개발). 또한 본 연구는 (주)솔트룩스에 의해 지원된 과제(생성 기반 챗봇의 장기 메모리 임베딩 및 검색 기술 연구)로 수행되었음
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2022.10a
- /
- Pages.82-87
- /
- 2022
- /
- 2005-3053(pISSN)
Noised Guide-based Generative Model for Open-domain Conversation
오픈 도메인 대화를 위한 노이징된 가이드 기반 생성 모델
- Bit-Na Keum (Dept. of Artificial Intelligence, Konkuk Univ. ) ;
- Hong-Jin Kim (Dept. of Artificial Intelligence, Konkuk Univ. ) ;
- Sang-Min Park (AI Labs, Saltlux Inc ) ;
- Jai-Eun Kim (AI Labs, Saltlux Inc ) ;
- Jin-Xia Huang (Electronics and Telecommunications Research Institute) ;
- Oh-Woog Kwon (Electronics and Telecommunications Research Institute) ;
- Hark-Soo Kim (Dept. of Artificial Intelligence, Konkuk Univ. )
- 금빛나 (건국대학교 인공지능학과) ;
- 김홍진 (건국대학교 인공지능학과) ;
- 박상민 ((주)솔트룩스, AI Labs ) ;
- 김재은 ((주)솔트룩스, AI Labs ) ;
- 황금하 (한국전자통신연구원) ;
- 권오욱 (한국전자통신연구원) ;
- 김학수 (건국대학교 인공지능학과)
- Published : 2022.10.18
Abstract
대화 모델은 대표적으로 검색 모델 또는 생성 모델을 기반으로 구현된다. 최근에는 두 모델의 장점은 융합하고 단점은 보완하기 위해 검색 기법과 생성 기법을 결합하는 연구가 활발히 이루어지고 있다. 그러나 생성 모델이 검색된 응답을 전혀 반영하지 않고 응답을 생성하여 검색 모델을 간과하는 문제 또는 검색된 응답을 그대로 복사해 생성하여 검색 모델에 과의존하는 문제가 발생한다. 본 논문에서는 이러한 문제들을 완화하며 검색 모델과 생성 모델을 모두 조화롭게 활용할 수 있는 대화 모델을 제안한다. 생성 모델이 검색 모델을 간과하는 문제를 완화하기 위해 학습 시 골드 응답을 검색된 응답과 함께 사용한다. 또한, 검색 모델에 과의존하는 문제를 완화하기 위해 검색된 응답들의 내용어 일부를 마스킹하고 순서를 무작위로 섞어 노이징한다. 검색된 응답은 대화 컨텍스트와의 관련성이 높은 것만을 선별하여 생성에 활용한다. 정량 평가 및 정성 평가를 통해 제안한 방법의 성능 향상 효과를 확인하였다.