A Study on LAPE-Based AWQ for Improving Korean Performance of Quantized Multilingual LLM

양자화된 다국어 LLM 의 한국어 성능 개선을 위한 LAPE 기반 AWQ 연구

대규모 언어 모델(LLM)은 높은 계산 비용과 메모리 요구량으로 인해 실용적인 배포와 활용에 어려움이 있다. 이를 해결하기 위해 모델의 크기를 줄이고 연산 효율성을 향상하는 다양한 양자화 기법이 개발되었다. 그러나 현재까지의 연구는 주로 영어 기반 모델과 데이터에 초점을 맞추고 있으며, 비영어권 언어에서의 성능 저하 문제는 거의 다루어지지 않고 있다. 최근 연구에 따르면, 양자화를 다국어 대규모 언어 모델에 적용할 경우 성능 하락이 영어보다 비영어권 언어에서 훨씬 더 크게 나타나는 경향이 있으며 한국어 또한 그에 해당한다. 본 연구에서는 이러한 문제를 해결하기 위해 한국어에 최적화되도록 개량된 양자화 기법을 제안한다. 개선된 양자화 방법은 한국어 태스크에 대해 기존 양자화 방법에 비해 개선된 성능을 보였다.