Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.485-490
- /
- 2023
- /
- 2005-3053(pISSN)
Exploring the Relationship Between Machine and Human Performance in Natural Language Processing Tasks
자연어 처리 태스크에 대한 기계와 인간의 성능 상관관계 연구
- Seoyoon Park (Yonsei University, Institute of Language and Informatics) ;
- Heejae Kim (Yonsei University, Institute of Language and Informatics) ;
- Seong-Woo Lee (Yonsei University, Institute of Language and Informatics) ;
- Yejee Kang (Yonsei University, Institute of Language and Informatics) ;
- Yeonji Jang (Yonsei University, Institute of Language and Informatics) ;
- Hansaem Kim (Yonsei University, Interdisciplinary Graduate Program of Linguistics and Informatics)
- 박서윤 (연세대학교 언어정보연구원) ;
- 김희재 (연세대학교 언어정보연구원) ;
- 이성우 (연세대학교 언어정보연구원) ;
- 강예지 (연세대학교 언어정보연구원) ;
- 장연지 (연세대학교 언어정보연구원) ;
- 김한샘 (연세대학교 언어정보학협동과정)
- Published : 2023.10.12
Abstract
언어 모델 발전에 따라 사람과 유사하게 글을 생성하고 태스크를 수행하는 LLM들이 등장하고 있다. 하지만 아직까지도 기계와 사람의 수행 과정에 초점을 맞추어 차이점을 드러내는 연구는 활성화되지 않았다. 본 연구는 자연어 이해 및 생성 태스크 수행 시 기계와 인간의 수행 과정 차이를 밝히고자 하였다. 이에 이해 태스크로는 문법성 판단, 생성 태스크로는 요약 태스크를 대상 태스크로 선정하였고, 기존 주류 사전학습 모델이었던 transformer 계열 모델과 LLM인 ChatGPT 3.5를 사용하여 실험을 진행하였다. 실험 결과 문법성 판단 시 기계들이 인간의 언어적 직관을 반영하지 못하는 양상을 발견하였고, 요약 태스크에서는 인간과 기계의 성능 판단 기준이 다름을 확인하였다.