과제정보
이 논문은 2023년도 정부(중소벤처기업부)의 재원으로 중소기업기술정보진흥원의 지원을 받아 수행된 연구임. (No. 1425171943, AI 시스템 및 서비스에 범용적 적용이 가능하고 비전문가도 쉽게 이해 가능한 eXplainable AI(설명가능한 인공지능) 솔루션 개발)
한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)
- 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
- /
- Pages.101-104
- /
- 2023
- /
- 2005-3053(pISSN)
대규모 언어모델 활용을 통한 통계자료 처리 및 온라인 가격지표 개발 방법론 연구
Utilizing Large Language Models(LLM) for Efficient Online Price Index Development and Statistical Data Processing
- 오교중 (KAIST 전산학부, 아일리스프런티어 연구분석실) ;
- 최호진 (KAIST 전산학부, 아일리스프런티어 연구분석실) ;
- 안현각 (KAIST 전산학부, 아일리스프런티어 연구분석실) ;
- 김일구 (KAIST 전산학부, 아일리스프런티어 연구분석실) ;
- 차원석 (KAIST 전산학부, 아일리스프런티어 연구분석실)
- Kyo-Joong Oh (KAIST School of Computing, AilysFrontier Corp.) ;
- Ho-Jin Choi (KAIST School of Computing, AilysFrontier Corp.) ;
- Hyeongak Ahn (KAIST School of Computing, AilysFrontier Corp.) ;
- Ilgu Kim (KAIST School of Computing, AilysFrontier Corp.) ;
- Wonseok Cha (KAIST School of Computing, AilysFrontier Corp.)
- 발행 : 2023.10.12
초록
본 연구는 현대 사회에서 빅데이터의 중요성이 강조되는 가운데, 온라인 시장의 확장과 소비자들의 다양한 소비 행태 변화를 반영한 가격지표 개발을 목표로 한다. 통계청의 기존 통계조사 방법론에 대한 한계를 극복하고, 온라인 쇼핑몰 데이터에서 필요한 정보를 추출하고 가공하기 위해 대규모 언어 모델(LLM)을 활용한 인공지능 기술을 적용해보고자 한다. 초기 연구 결과로 공개 Polyglot을 활용하여 비정형 자료 처리와 품목분류에 응용해 보았으며, 제한된 학습 데이터를 사용하여도 높은 정확도의 처리 결과를 얻을 수 있었으며, 현재는 적용 품목을 확장하여 더욱 다양한 품목에 방법론을 적용하는 연구를 진행 중이다.