• 제목/요약/키워드: KoGPT2

검색결과 25건 처리시간 0.024초

한국어 개체명 인식 과제에서의 의미 모호성 연구 (A study on semantic ambiguity in the Korean Named Entity Recognition)

  • 김성현;송영숙;송치성;한지윤
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.203-208
    • /
    • 2021
  • 본 논문에서는 맥락에 따라 개체명의 범주가 달라지는 어휘를 중심으로 교차 태깅된 개체명의 성능을 레이블과 스팬 정답률, 문장 성분과 문장 위치에 따른 정답률로 나누어 살펴 보았다. 레이블의 정확도는 KoGPT2, mBERT, KLUE-RoBERTa 순으로 정답률이 높아지는 양상을 보였다. 스팬 정답률에서는 mBERT가 KLUE-RoBERTa보다 근소하게 성능이 높았고 KoGPT2는 매우 낮은 정확도를 보였다. 다만, KoGPT2는 개체명이 문장의 끝에 위치할 때는 다른 모델과 비슷한 정도로 성능이 개선되는 결과를 보였다. 문장 종결 위치에서 인식기의 성능이 좋은 것은 실험에 사용된 말뭉치의 문장 성분이 서술어일 때 명사의 중첩이 적고 구문이 패턴화되어 있다는 특징과 KoGPT2가 decoder기반의 모델이기 때문으로 여겨지나 이에 대해서는 후속 연구가 필요하다.

  • PDF

KoGPT2를 이용한 쇼핑몰 리뷰 생성기 (Shopping Mall Review Generator usin KoGPT2)

  • 박규현;권희연
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.31-33
    • /
    • 2022
  • 쇼핑몰 리뷰 생성기는 사용자로 하여금 사용자를 대신해서 리뷰를 생성할 수 있는 기술이고, 옷 상태, 배송 상태, 사이즈와 관련된 세 가지의 카테고리를 이용하여 부분마다 점수를 부여하여 점수에 맞는 리뷰를 생성할 수 있도록 하는 기술이다. 해당 리뷰 생성기는 점수마다 생성되는 리뷰가 달라지기 때문에 다양한 리뷰 생성을 원하는 웹, 앱 쇼핑몰 사이트에서 적용이 가능한 기술이다. 본 논문에서는 KoGPT2를 이용한 리뷰 생성과 카테고리와 점수에 따른 다르게 생성되는 리뷰의 방식을 제안한다. 그리고 두 방식을 결합한 리뷰 생성의 방식을 제안한다. 제안하는 방식들은 카테고리고리 마다 학습하는 모델을 다르게 적용하고 있다.

  • PDF

KoDialoGPT2 : 한국어 일상 대화 생성 모델 (KoDialoGPT2 : Modeling Chit-Chat Dialog in Korean)

  • 오동석;박성진;이한나;장윤나;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.457-460
    • /
    • 2021
  • 대화 시스템은 인공지능과 사람이 자연어로 의사 소통을 하는 시스템으로 크게 목적 지향 대화와 일상대화 시스템으로 연구되고 있다. 목적 지향 대화 시스템의 경우 날씨 확인, 호텔 및 항공권 예약, 일정 관리 등의 사용자가 생활에 필요한 도메인들로 이루어져 있으며 각 도메인 별로 목적에 따른 시나리오들이 존재한다. 이러한 대화는 사용자에게 명확한 발화을 제공할 수 있으나 자연스러움은 떨어진다. 일상 대화의 경우 다양한 도메인이 존재하며, 시나리오가 존재하지 않기 때문에 사용자에게 자연스러운 발화를 제공할 수 있다. 또한 일상 대화의 경우 검색 기반이나 생성 기반으로 시스템이 개발되고 있다. 검색 기반의 경우 발화 쌍에 대한 데이터베이스가 필요하지만, 생성 기반의 경우 이러한 데이터베이스가 없이 모델의 Language Modeling (LM)으로 부터 생성된 발화에 의존한다. 따라서 모델의 성능에 따라 발화의 품질이 달라진다. 최근에는 사전학습 모델이 자연어처리 작업에서 높은 성능을 보이고 있으며, 일상 대화 도메인에서도 역시 높은 성능을 보이고 있다. 일상 대화에서 가장 높은 성능을 보이고 있는 사전학습 모델은 Auto Regressive 기반 생성모델이고, 한국어에서는 대표적으로 KoGPT2가 존재한다. 그러나, KoGPT2의 경우 문어체 데이터만 학습되어 있기 때문에 대화체에서는 낮은 성능을 보이고 있다. 본 논문에서는 대화체에서 높은 성능을 보이는 한국어 기반 KoDialoGPT2를 개발하였고, 기존의 KoGPT2보다 높은 성능을 보였다.

  • PDF

A BERGPT-chatbot for mitigating negative emotions

  • Song, Yun-Gyeong;Jung, Kyung-Min;Lee, Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.53-59
    • /
    • 2021
  • 본 연구에서는 '레플리카'와 같은 텍스트 입력 기반의 부정적 감정 완화가 가능한 국내 인공지능 챗봇인 BERGPT-chatbot을 제안하고자 한다. BERGPT-chatbot은 KR-BERT와 KoGPT2-chatbot을 파이프라인으로 만들어 감정 완화 챗봇을 모델링하였다. KR-BERT를 통해 정제되지 않은 일상 데이터셋에 감정을 부여하고, 추가 데이터셋을 KoGPT2-chatbot을 통해 학습하는 방식이다. BERGPT-chatbot의 개발 배경은 다음과 같다. 현재 전 세계적으로 우울증 환자가 증가하고 있으며, 이는 COVID-19로 인해 장기적 실내 생활이나 대인 관계 제한으로 더욱 심각한 문제로 대두되었다. 그로 인해 부정적 감정 완화나 정신 건강 케어에 목적을 둔 국외의 인공지능 챗봇이 팬데믹 사태로 사용량이 증가하였다. 국내에서도 국외의 챗봇과 비슷한 심리 진단 챗봇이 서비스 되고 있으나, 국내의 챗봇은 텍스트 입력 기반 답변이 아닌 버튼형 답변 중심으로 국외 챗봇과 비교하였을 때 심리 진단 수준에 그쳐 아쉬운 실정이다. 따라서, BERGPT-chatbot을 통해 감정 완화에 도움을 주는 챗봇을 제안하였으며, BERGPT-chatbot과 KoGPT2-chatbot을 언어 모델의 내부 평가 지표인 '퍼플렉서티'를 통해 비교 분석하여 BERGPT-chatbot의 우수함을 보여주고자 한다.

Zero-shot Korean Sentiment Analysis with Large Language Models: Comparison with Pre-trained Language Models

  • Soon-Chan Kwon;Dong-Hee Lee;Beak-Cheol Jang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.43-50
    • /
    • 2024
  • 본 논문은 GPT-3.5 및 GPT-4와 같은 대규모 언어 모델의 한국어 감성 분석 성능을 ChatGPT API를 활용한 zero-shot 방법으로 평가하고, 이를 KoBERT와 같은 사전 학습된 한국어 모델들과 비교한다. 실험을 통해 영화, 게임, 쇼핑 등 다양한 분야의 한국어 감성 분석 데이터셋을 사용하여 모델들의 효율성을 검증한다. 실험 결과, LMKor-ELECTRA 모델이 F1-score 기준으로 가장 높은 성능을 보여주었으며, GPT-4는 특히 영화 및 쇼핑 데이터셋에서 높은 정확도와 F1-score를 기록하였다. 이는 zero-shot 학습 방식의 대규모 언어 모델이 특정 데이터셋에 대한 사전 학습 없이도 한국어 감성 분석에서 높은 성능을 발휘할 수 있음을 시사한다. 그러나 일부 데이터셋에서의 상대적으로 낮은 성능은 zero-shot 기반 방법론의 한계점으로 지적될 수 있다. 본 연구는 대규모 언어 모델의 한국어 감성 분석 활용 가능성을 탐구하며, 이 분야의 향후 연구 방향에 중요한 시사점을 제공한다.

언어모델을 활용한 문서 내 발화자 예측 분류 모델 (Speaker classification and prediction with language model)

  • 김경민;한승규;서재형;이찬희;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.317-320
    • /
    • 2020
  • 연설문은 구어체와 문어체 두 가지 특성을 모두 갖고 있는 복합적인 데이터 형태이다. 발화자의 문장 표현, 배열, 그리고 결합에 따라 그 구조가 다르기 때문에, 화자 별 갖는 문체적 특성 또한 모두 다르다. 국정을 다루는 정치인들의 연설문은 국정 현황을 포함한 다양한 주요 문제점을 다룬다. 그러면 발화자의 문서 내 문체적 특성을 고려할 경우, 해당 문서가 어느 정치인의 연설문인지 파악 할 수 있는가? 본 연구에서는 대한민국 정책 브리핑 사이트로부터 한국어 기반 사전 학습된 언어 모델을 활용하여 연설문에 대한 미세조정을 진행함으로써 발화자 예측 분류 모델을 생성하고, 그 가능성을 입증하고자 한다. 본 연구는 5-cross validation으로 모델 성능을 평가하였고 KoBERT, KoGPT2 모델에서 각각 90.22%, 84.41% 정확도를 보였다.

  • PDF

딥러닝을 이용한 배달 음식점 리뷰 자동 생성 (Automatic Review Generation for Delivery Restaurant using Deep Learning Models)

  • 김나경;조혜진;이혜진;정유철
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.231-232
    • /
    • 2021
  • 본 논문에서는 딥러닝 모델 중 Keras 기반 LSTM 모델과 KoGPT-2 모델을 이용하여 학습한 결과를 바탕으로 카테고리 별 키워드 기반의 배달 음식점 리뷰를 생성하는 방법을 제안한다. 데이터는 주로 맛, 양, 배달, 가격으로 구성되어 있으며 이를 카테고리 별로 구분하였다. 또한 새롭게 생성된 텍스트는 의미와 문맥을 판단하여 기존 리뷰 데이터와 비슷하게 구현하였다. 모델마다 성능을 비교하기 위해 정량적, 정성적 평가를 진행하였다.

  • PDF

이미지 캡션 및 재귀호출을 통한 스토리 생성 방법 (Automated Story Generation with Image Captions and Recursiva Calls)

  • 전이슬;조동하;문미경
    • 융합신호처리학회논문지
    • /
    • 제24권1호
    • /
    • pp.42-50
    • /
    • 2023
  • 기술의 발전은 제작 기법, 편집 기술 등 미디어 산업 전반에 걸쳐 디지털 혁신을 이루어 왔고, OTT 서비스와 스트리밍 시대를 관통하며 소비자 관람 형태의 다양성을 가져왔다. 빅데이터와 딥러닝 네트워크의 융합으로 뉴스 기사, 소설, 대본 등 형식을 갖춘 글을 자동으로 생성하였으나 작가의 의도를 반영하고 문맥적으로 매끄러운 스토리를 생성한 연구는 부족하였다. 본 논문에서는 이미지 캡션 생성 기술로 스토리보드 속 사진의 흐름을 파악하고, 언어모델을 통해 이야기 흐름이 자연스러운 스토리를 자동 생성하는 것을 기술한다. 합성곱 신경망(CNN)과 주의 집중기법(Attention)을 활용한 이미지 캡션 생성 기술을 통해 스토리보드의 사진을 묘사하는 문장을 생성하고, 첫 번째 이미지 캡션을 KoGPT-2에 입력하여 생성된 새로운 글과 두 번째 이미지의 캡션을 다음 입력값으로 활용한 재귀적 접근 방안을 제안하여 전후 문맥이 자연스럽고 기획 의도에 맞는 스토리를 생성하는 연구를 진행한다. 본 논문으로 인공지능을 통해 작가의 의도를 반영한 스토리를 자동으로 대량 생성하여 콘텐츠 창작의 고통을 경감시키고, 인공지능이 디지털 콘텐츠 제작의 전반적인 과정에 참여하여 미디어 지능화를 활성화한다.

콜레스테롤식(食) 유발(誘發) 고지혈증(高脂血症) 흰쥐에 대(對)한 오황석화탕(五黃瀉火湯)의 효과(效果) (The effects of Ohwangsahwa-Tang(Wu-Huang-Xie-Huo-Tang) on Hypercholesterolemia Rats induced by 2% Chole- sterol Fed-Diet)

  • 장용수;고창남;조기호;김영석;배형섭;이경섭
    • 대한한방내과학회지
    • /
    • 제18권2호
    • /
    • pp.195-206
    • /
    • 1997
  • In order to study the effects of Ohwangsahwatang on Hyperchole-sterolemia, experimental study were performed on Hypercholesterolemia Rats induced by 2% cholesterol diet. Also the level of total cholesterol. triglyceride, LDL-cholesterol. HDL-cholesterol, phospholipid, transami-nase(GOT, GPT) were measured. The results were summerized as follows : In the model of Hypercholesterolemia induced by 2% cholesterol diet in rats, Ohwangsahwatang showed decreasing effects on total cholesterol, triglyceride, LDL-cholesterol, phospholipid level, and transaminase (GOT, GPT) activity in serum significantly, depending on the concentration, and showed increasing effects on HDL-cholesterol level in serum significantly depending on the concentration. According to the above results, Ohwangsahwatang showed significant decreasing effects on Hypercholesterolemia, and it is considered that it is appropriate to apply for Hypercholesterolemia.

  • PDF

귀비탕가미방(歸脾湯加味方)이 고혈압(高血壓) 및 고지혈증(高脂血症)에 미치는 영향(影響) (Experimental study on the effects of Guibitanggamibang on blood pressure and hyperlipidemia)

  • 노진환;문상관;고창남;조기호;김영석;배형섭;이경섭
    • 대한한의학회지
    • /
    • 제18권2호
    • /
    • pp.245-266
    • /
    • 1997
  • In order to study the effects of Guibitanggamibang on blood pressure and hyperlipidemia, experimental study were performed on hypertension in normal and SHR rats, and on hyperlipidemia induced by Triton WR-1339 in normal rats. Also the level of total cholesterol, triglyceride, LDL-cholesterol, HDL-cholesterol, phospholipid and transaminase(GOT, GPT) were measured. The results are summarized as follows: 1. After Guibitanggamibang was given to normal rats, the results showed that inhibitory effects on blood pressure and heart beat were not statistically significant. 2. After Guibitanggamibang was given to SHR rats, the results showed that inhibitory effects on blood pressure were statistically significant. 3. In the model of hyperlipidemia induced by 2% cholesterol food, Guibitanggarrubang had significantly-decreasing effects on total cholesterol, triglyceride, HDL-cholesterol, LDL-choleste rol, Transaminase(GOT, GPT) level in serum. 4. In the model of hyperlipidemia induced by Triton WR-1339, Guibitanggamibang had significantly-decreasing effects on total cholesterol, triglyceride, LDL-cholesterol, phospholipid, Transaminase(GOT, GPT) level in serum. 5. In the model of hyperlipidemia induced by Triton WR-1339, Guibitanggamibang had no significant effects on HDL-cholesterol level in serum. These results show that Guibitanggamibang(歸脾湯加味方) has significant inhibitory effects on blood pressure and hyperlipidemia and that it could be clinically applied for hypertension and hyperlipidemia.

  • PDF