대규모 시험 주관식 문제 자동채점 프로그램 개발

　대학수학능력시험 등 각종 시험에 주관식 문항을 도입해야 한다는 목소리가 끊이지 않지만 채점의 어려움이 발목을 잡아왔다. 그런데 대규모 시험에서 주관식 문항을 채점할 수 있는 기술적 기반이 마련됐다.

　한국교육과정평가원은 대규모 평가에서 학생들이 작성한 주관식 답안을 효과적으로 채점할 수 있는 ‘한국어 서답형 문항 자동채점 프로그램’을 개발해 최근 4건의 특허를 취득했다고 20일 밝혔다.

　한국어는 조사나 어미를 활용해 다양한 형태로 유사한 의미를 표현할 수 있고, 어순이 비교적 자유롭고 생략이 빈번해 기계로 처리하기 까다로운 언어로 꼽힌다. 평가원은 “축적된 한국어 자연언어 처리 기술과 기계 학습 기반 자동분류 원리를 활용해 프로그램을 설계함으로써 한 문장 정도의 답안을 정확하게 채점할 수 있는 수준”이라고 밝혔다.

　평가원이 개발한 자동채점 프로그램을 2016년 국가수준 학업성취도평가의 표집 채점에 실제 적용해본 결과 사람이 직접 한 채점보다 정확한 것으로 나타났다. 학업성취도평가에서 단어·구 수준의 답안을 요구하는 문항에 대해 복수의 채점자가 자동채점 프로그램을 이용해 채점한 뒤 결과를 비교해보니 채점자 간 결과가 일치하는 답안의 비율(일치도)은 국어와 과학은 100%, 사회는 99.6%로 나타났다.

　반면 복수의 채점자가 직접 한 채점자 간 일치도는 국어 97.5%, 과학 99.3%였다. 이는 다량의 채점을 하다 보면 피로해지고, 주관적 판단도 개입하면서 일관성이 떨어지기 때문으로 분석된다. 노은희 평가원 연구위원은 “태블릿PC 등을 이용한 답안 작성 방식이 도입되면 수능에서도 충분히 서답형 문항 출제와 채점이 가능하다”고 말했다.

유덕영 firedy@donga.com