Acknowledgement
본 논문은 2025년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(RS-2022-II221196, 50%)과 교육부와 한국연구재단의 재원으로 첨단분야 혁신융합대학사업의 지원(50%)을 받아 수행된 연구임
Annual Conference of KIPS (한국정보처리학회:학술대회논문집)
- 2025.05a
- /
- Pages.842-843
- /
- 2025
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
A BitNet-MCP Hybrid System for Efficient Query Processing
효율적인 질의 처리를 위한 BitNet-MCP 하이브리드 시스템
- Yi-Deun Kim (Dept. of Computer Engineering, Kangwon National University) ;
- Hyo-Bin Ahn (Dept. of Computer Engineering, Kangwon National University) ;
- Dong-Jae Lee (Dept. of Convergence Security, Kangwon National University)
- Published : 2025.05.29
Abstract
최근 대규모 언어 모델(LLM)이 상용화됨에 따라, 자원이 제한된 컴퓨팅 환경에서도 효율적으로 동작할 수 있는 경량 LLM에 대한 수요가 증가하고 있다. 본 논문은 경량화된 1.58비트 모델인 BitNet과 Model Context Protocol(MCP)을 결합한 하이브리드 시스템을 제안한다. 시스템은 질의 복잡도에 따라 동적으로 처리 경로를 결정하는 방식으로 동작한다. 단순한 질의는 메모리 효율적인 BitNet이 직접 처리하여 에너지 소비와 지연 시간을 최소화하고, 실시간 데이터 검색이나 외부 도구 사용이 필요한 복잡한 질의는 BitNet이 MCP 호스트로서 적절한 MCP 서버와 통신한다. 모든 결과는 BitNet 내부에서 통합되어 처리된 후 일관된 응답을 생성한다. 이러한 접근 방식은 엣지 컴퓨팅, IoT 기기, 모바일 애플리케이션과 같이 제한된 컴퓨팅 환경에서 AI 활용성을 높이는데 기여할 수 있을 것으로 기대된다.
Keywords