Acknowledgement
본 연구는 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었음 (IITP-2018-0-01405). 본 연구는 2021년도 중소벤처기업부의 기술개발사업 지원에 의한 연구임 [S3100955]
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2021.10a
- /
- Pages.36-40
- /
- 2021
- /
- 2005-3053(pISSN)
Analysis on Question Understanding of Language Models using Clever Hans Tests
클레버 한스 테스트를 통한 언어모델의 질의 이해 분석
- Lim, Jungwoo (Korea University) ;
- Oh, Dongsuk (Korea University) ;
- Park, Sungjin (Naver Corp.) ;
- Whang, Taesun (Wisenut Inc.) ;
- Shim, Midan (Kyung Hee University) ;
- Son, Suhyune (Korea University) ;
- Kim, Yujin (Human-inspired AI Research) ;
- Lim, Heuiseok (Korea University)
- 임정우 (고려대학교 컴퓨터학과) ;
- 오동석 (고려대학교 컴퓨터학과) ;
- 박성진 (네이버) ;
- 황태선 (와이즈넛) ;
- 심미단 (경희대학교 생물학과) ;
- 손수현 (고려대학교 컴퓨터학과) ;
- 김유진 (Human-inspired AI 연구소) ;
- 임희석 (고려대학교 컴퓨터학과)
- Published : 2021.10.14
Abstract
다양한 Masked Language Modeling을 통해 학습한 사전 학습 모델들은 질의응답 시스템에서 매우 높은 성능을 보여주고 있다. 이러한 강력한 성능에도 불구하고 그러한 모델들이 질의를 정확히 이해하고 정답을 예측하는 것인지, 혹은 질의에 등장하는 특정 단어와 잘 나타나는 단어들을 기반으로 정답을 예측하는 것인지에 대한 분석은 아직 충분하지 않다. 이러한 사전학습 모델의 질의 이해 능력을 밝히기 위하여, 본 연구에서는 클레버 한스 테스트를 제안한다. 클레버 한스 테스트에서는 의미적 구조적, 의도 유무 측면의 여러 질의 변형이 된 데이터 셋들이 포함되어 있다. 본 연구에서는 클레버 한스 테스트를 통하여 사전학습 모델들이 의미적으로 달라진 질의나 의도가 제거된 질의를 입력으로 받아도 성능이 크게 떨어지지 않는 것을 확인하였고 모델의 질의 이해능력 부족을 실험적으로 시사하였다.