Design and Implementation of an Intelligent System for Understanding and Responding to Unstructured Documents with Embedded Images

이미지를 포함한 비정형 문서의 이해와 응답을 위한 지능형 시스템 설계 및 구현

본 연구는 이미지가 포함된 비정형 PDF 문서로부터 유의미한 정보를 추출하고, 사용자 질의에 대해 텍스트와 이미지 기반 응답을 생성하는 멀티모달 Retrieval-Augmented Generation (RAG) 시스템을 제안한다. 본 시스템은 OCR 기반 텍스트, 이미지 추출, 이미지 캡션 생성, 멀티모달 임베딩, 하이브리드 검색을 통합하여 설계 되었으며, Reciprocal Rank Fusion 과 Cross-Encoder 재랭킹을 통해 검색 품질을 향상시켰다. 실험 결과, 기존 단일 모달 방식보다 더 높은 응답 품질과 사용자 만족도를 보였으며, 답변의 출처를 제공함으로써 응답의 신뢰성과 투명성을 강화하였다. 본 연구는 멀티모달 AI 및 비정형 문서 처리 기술의 실용적 확장 가능성을 제시한다.