日수능시험 치른 챗GPT와 제미나이…승자는 누구?

사진 게티이미지

올해 실시된 ‘일본판 수능’인 대학입학공통테스트 문제를 주요 인공지능(AI)의 최신 모델들에게 풀게 했더니 오픈AI의 챗GPT가 정답률 97%로 경쟁사 모델들을 제친 것으로 나타났다. 챗GPT는 2024년 실험에선 정답률 66%에 그쳤지만 ‘삼수’ 만에 정답률을 31%포인트 끌어올렸다. 

니혼게이자이(닛케이)신문은 일본 AI스타트업 라이프프롬프트와 함께 오픈AI의 ‘GPT 5.2 싱킹’, 구글의 ‘제미나이 3.0 프로’, 앤트로픽의 ‘클로드 오퍼스 4.5’에게 올해 대학입학공동테스트를 풀게한 결과를 20일 보도했다. 이에 따르면 챗GPT의 정답률은 97%로 제미나이와 클로드(각각 91%)를 앞섰다. 

일본 대학의 입시 자료로 활용되는 대학입학공동테스트는 지난 17일, 18일 실시됐으며 약 50만 명이 응시했다. 일본 입시학원은 주요 15과목의 수험생 평균 정답률을 약 60%로 추정했다. 하지만 AI들은 특정 과목을 수 분 만에 끝내는 등 풀이 속도를 자랑하며 15과목 평균 정답률 90%를 넘겼다. 

챗GPT는 15개 과목 중 수학 1A, 화학, 물리기초 등 9개에서 만점을 받았다. 영어 읽기(정답률 97%), 일본사(97%) 등도 만점에 가까웠다. 반면 일본어(90%), 지리종합(91%) 등은 상대적으로 낮았다. 제미나이와 클로드는 수학 1A, 생물기초, 공공·정치경제 등에서 각각 만점을 받았다. 닛케이는 “세 모델 모두 전반적으로 이과 과목에 강했고, 일본어와 지리에서의 실수가 눈에 띄었다”고 진단했다. 

AI들의 입시 성적은 해마다 상승하고 있다. 2024년 실험에서 챗GPT는 정답률 66%, 제미나이는 43%, 클로드는 51%를 각각 기록했다. 하지만 세 모델 모두 2년 만에 90%를 넘겼다. 이번 실험에서 제미나이와 클로드는 문제 입력부터 답안 제시까지 한 과목당 짧게는 약 4분 만에 마쳤고, 시간이 걸리는 수학이나 일본어는 약 20분 만에 답을 완성했다. 챗GPT의 정답률은 높았지만 경쟁 제품에 비해 답안 제출까지 2~3배 정도 시간이 걸렸다고 닛케이는 전했다. 




도쿄=황인찬 특파원 hic@donga.com