Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))

  • 2020.10a
  • /
  • Pages.172-175
  • /
  • 2020
  • /
  • 2005-3053(pISSN)
Human and Language Technology (한국정보과학회 언어공학연구회)
권호 표지

BART for Korean Natural Language Processing: Named Entity Recognition, Sentiment Analysis, Semantic role labelling

BART를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의미역 결정

  • Published : 2020.10.14
Download PDF
⟨ Previous Next ⟩

Abstract

최근 자연어처리는 대용량 코퍼스를 이용하여 언어 모델을 사전 학습하고 fine-tuning을 적용함으로 다양한 태스크에서 최고 성능을 갱신하고 있다. BERT기반의 언어 모델들은 양방향의 Transformer만 모델링 되어 있지만 BART는 양방향의 Transformer와 Auto-Regressive Transformer가 결합되어 사전학습을 진행하는 모델로 본 논문에서는 540MB의 코퍼스를 이용해 한국어 BART 모델을 학습 시키고 여러 한국어 자연어처리 태스크에 적용하여 성능 향상 있음을 보였다.

Keywords

Acknowledgement

이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (R7119-16-1001, 지식증강형 실시간 동시통역 원천기술 개발)