DOI QR코드

DOI QR Code

A Study on Chunking based on LLM Agent

LLM 에이전트 기반 문서 분할에 관한 연구

  • Published : 2025.05.29

Abstract

본 연구는 Retrieval-Augmented Generation(RAG) 시스템에서 문서의 유형이나 도메인에 따라 사용자가 반복적으로 실험하지 않아도 최적의 문서 분할(Chunking) 전략을 자동으로 선택할 수 있는 LLM 기반 Agent를 제안한다. 이 Agent는 문서의 구조와 의미 흐름을 분석한 뒤, 미리 정의된 네 가지 전략(Page, Recursive, Semantic, Token-based) 중 가장 적합한 전략을 자동으로 선택하고 실행하도록 설계되었다. 실험은 한국어 산업 도메인 5개 분야의 문서를 대상으로 진행되었으며, 검색 결과 상위 5개의 문단 중 정답 문단이 포함된 비율은 평균 약 78.6%였으며, 전체 문서 중 약 72%에서 Agent가 가장 효과적인 전략을 선택하였다. 이러한 결과는 복잡한 실험 과정을 반복하지 않고도 전략 선택과 실행을 자동화할 수 있는 가능성을 보여주며, 다양한 문서 유형과 도메인에 적응 가능한 RAG 시스템 구현을 위한 기반 기술로 활용될 수 있음을 시사한다.

Keywords

References

  1. P. Lewis et al., "Retrieval-augmentedgeneration for knowledge-intensive nlp tasks,"in Advances in Neural Information ProcessingSystems 33, Online, pp.9459-9474, 2020.
  2. Wang, L., Xu, W., Lan, Y., "Plan-and-SolvePrompting: Improving Zero-Shot Chain-of-ThoughtReasoning by Large Language Models." arXivpreprint, arXiv:2305.04091, 2023.
  3. Yao, S., Zhao, J., "ReAct: SynergizingReasoning and Acting in Language Models."arXiv preprint, arXiv:2210.03629, 2022.
  4. Junghoon Lee., Sounghan Kim., Yujung Kim., " allganzie/RAG-Evaluation-Dataset-KO ", https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-KO, 2024.