A Study on Applying a Distilled LLaMA 3.2 1B Model Using DeepSeek R1 as a Teacher Model for English Grammar Evaluation in Mobile Environments

모바일 폰 환경에서 DeepSeek R1을 증류기법의 교사모델로 활용한 LLaMA 3.2 1B 모델을 영어 문법 평가 도메인 적용에 대한 연구

본 연구에서는 DeepSeek-R1-Distill-Qwen-32B 모델을 교사 모델로 활용하여 LLaMA 3.2 1B 모델을 증류(Distillation)하여 추론 성능을 영어 문법 평가 도메인에서 제한적으로 적용하였다. 본 연구에서 제안한 모델은 안드로이드 폰 환경에서 구현하였다. 제안한 모델의 성능측정을 위해 Rule Based, Answer Relevancy, Answer Similarity, ROUGE-L, METEOR 5가지 성능지표를 사용하여 성능을 비교 평가한 결과 제안한 방식이 기존의 LLaMA 1B 모델에 비해 각 측정지표에서 13%, 0.016, 0.206, 0.152, 0.011 만큼 개선된 성능결과를 얻었다.