Relation Extraction using Generative Language Models

생성형 언어모델을 이용한 관계추출

  • Jeong Heo (ETRI, Language Intelligence Research Section) ;
  • Jong-Hun Shin (ETRI, Language Intelligence Research Section) ;
  • Soo-Jong Lim (ETRI, Language Intelligence Research Section) ;
  • Oh-Woog Kwon (ETRI, Language Intelligence Research Section)
  • 허정 (한국전자통신연구원, 언어지능연구실) ;
  • 신종훈 (한국전자통신연구원, 언어지능연구실) ;
  • 임수종 (한국전자통신연구원, 언어지능연구실) ;
  • 권오욱 (한국전자통신연구원, 언어지능연구실)
  • Published : 2023.10.12

Abstract

관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.

Keywords

Acknowledgement

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (RS-2023-00216011, 사람처럼 개념적으로 이해/추론이 가능한 복합인공지능 원천기술 연구)