Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2012.10a
- /
- Pages.69-72
- /
- 2012
- /
- 2005-3053(pISSN)
Concept-based Automatic Scoring System for Korean Free-text or Constructed Answers
개념 기반 한국어 서답형 답안의 자동채점 시스템
- Park, Il-Nam (Kookmin University) ;
- Noh, Eun-Hee (Korea Institute for Curriculum and Evaluation) ;
- Sim, Jae-Ho (Korea Institute for Curriculum and Evaluation) ;
- Kim, Myung-Hwa (Korea Institute for Curriculum and Evaluation) ;
- Kang, Seung-Shik (Kookmin University)
- Published : 2012.10.06
Abstract
본 논문은 한국어 서답형(단어, 구 수준) 문항 유형을 분석하고 실제 채점자가 채점 기준표를 보고 채점하는 방법을 컴퓨터가 인식할 수 있도록 정답 템플릿을 설계 및 개념 정의를 하여 한국어 서답형에 특화된 자동채점 시스템 방법을 제시한다. 본 시스템을 사용하여 1000개의 학생 답안지에 대한 유형 가지수 500개 이하의 2011년도 학업성취도 평가 과학 6개 문항에 대하여 채점 기준표 내용을 정답 템플릿으로 작성한 뒤 250개 학생 답안을 학습데이터로, 정답 템플릿을 업데이트로 사용, 750개 학생 답안에 대하여 자동채점한 결과, 평균 카파계수 0.84라는 수치로서 실제 사람 채점 결과와 거의 완벽히 일치라는 결과를 얻었다.