빨간펜 든 AI…서술형 답안 채점하고 피드백도 준다

김소영 기자 ksy@donga.com

이달 9일 서울 마포구 서울여중. 1학년 국어 수업이 진행되는 도서관에서 단원 평가를 치르는 학생 20여 명이 교과서와 함께 교육용 스마트기기 ‘디벗’을 들고 있었다. 수업을 맡은 성예은 교사는 시험지를 나눠주는 대신 큰 모니터에 로그인 아이디와 비밀번호를 띄웠다. 성 교사가 “지금부터 응시 버튼을 누르세요”라고 말하자 각 스마트기기에 문제가 나타났고, 학생들은 기기에 답안을 입력하기 시작했다.

단원 평가는 서울시교육청이 개발한 ‘AI 서술·논술형 평가 지원 시스템(채움아이)’으로 진행했다. 서울시교육청이 올해 8월 개발한 AI 활용 평가 시스템이다. 9월부터 서울 초중고교 66곳에서 쓰고 있다. AI가 서술·논술형 문항을 어떻게 채점하는지, 채점의 정확성과 공정성을 확보할 수 있을지를 두고 여전히 논쟁이 뜨겁다.

● 교사가 만든 기준에 따라 AI가 채점

이 시스템은 인간인 교사와 AI가 함께 채점하는 게 핵심이다. 학생들이 답안을 제출하면 교사용 페이지에 시험이 끝났다는 알림과 학생이 제출한 답안이 곧바로 뜬다.

교사는 사전에 평가 요소, 세부 채점 기준, 배점 등을 담은 채점 기준표를 만든다. AI는 이 기준표에 따라 채점을 한다. 예를 들어 제시문 ‘가’와 ‘나’를 함께 활용하라는 문항에서 두 제시문을 모두 활용해 명확히 서술하면 2점, 하나만 활용하면 1점, 제시문과 무관한 답변을 하면 0점으로 매긴다. AI는 기준에 따라 점수를 산출한 뒤 이를 자동으로 합산한다.

AI는 ‘개념 이해와 논리적 서술을 바탕으로 문제 해결 과정이 일관되고 설득력이 있습니다’처럼 서술형 피드백도 제공한다. AI가 낸 점수와 서술형 피드백은 모두 교사가 고치거나 보완할 수 있다.

이 시스템은 시범 운영 단계로, 아직은 학생이 기기에 답안을 입력하는 단계까지만 쓰고 있다. 이날 서울여중 학생들이 입력한 답안 역시 교사가 직접 채점했다. 내년 하반기부터는 학생이 PC 등으로 답을 쓰면 AI가 채점하는 시스템을 구현할 계획이다.

● “채점 인력 한 명 더 생기는 효과”

서울시교육청은 서술·논술형 평가를 확대할 계획이다. AI를 활용하면 채점의 일관성을 높이고, 교사 업무 부담도 덜 수 있기 때문이다. 성 교사는 “AI 채점 시스템을 활용하면 채점 인력이 한 명 더 생기는 효과가 있다”며 “업무 효율이 높아질 뿐 아니라 한 사람이 모든 답안을 채점하는 것보다 공정성도 높아질 수 있다”고 말했다.

AI 채점 결과와 교사의 판단이 엇갈릴 경우에는 교사의 판단을 우선시한다. 이른바 ‘빨간펜 선생님’ 역할도 기대할 수 있다. 서술형 답안 수십 장을 채점하려면 지금은 점수를 매기는 것만 해도 부담이지만, AI를 활용하면 잘한 점과 부족한 점을 피드백으로 제시할 수 있다.

AI 채점에 대한 우려는 여전히 남아 있다. 서울여중 1학년 최아정 양은 “AI가 학습한 방식과 다른 방식으로 문제를 풀었을 때도 유연하게 채점할 수 있을지 의문”이라며 “AI가 어떤 데이터를 학습해 채점하는지 알기 어려워 근거를 신뢰하기 어렵다”고 말했다.

김소영 기자 ksy@donga.com