옛 정보로 답하는 ‘AI 시간 오류’ 바로 잡았다

KAIST 황의종 교수팀 기술 개발
데이터 업데이트하면 자동 갱신

미래의 AI 평가 시스템. 카이스트 제공

국내 연구진이 대형언어모델(LLM)이 낡은 정보를 토대로 답변하는 고질적인 한계를 극복할 기술을 개발했다.

14일 KAIST는 황의종 전기및전자공학부 교수 연구팀이 마이크로소프트 리서치와 공동으로 LLM의 ‘시간 오류’를 자동으로 잡아내는 평가·진단 기술을 개발했다고 밝혔다.

기존 AI 평가는 AI가 맞는 답을 했는지만 확인하는 방식이었다. 이 때문에 시간이 지나면서 정보가 바뀌는 상황에서는 오류를 제대로 걸러내기 어려웠다. 챗GPT에 “지난달 취임한 장관이 누구냐”고 물었을 때 1년 전 인물을 답하거나, “오늘 원·달러 환율이 얼마냐”고 질문하면 몇 개월 전 수치를 제시하는 등 현실과 동떨어진 답을 내놓는 사례가 반복되는 이유다. 

이에 연구팀은 ‘시간 데이터베이스’라는 개념을 AI 평가에 처음 적용했다. 시간에 따라 정보가 어떻게 바뀌는지를 기준으로, 사람이 직접 만들지 않아도 데이터만으로 13가지 유형의 시간 관련 문제를 자동으로 생성하는 시스템을 구현했다. 문제 생성은 물론 정답 도출과 검증까지 전 과정을 자동화해, 데이터만 업데이트하면 그에 맞는 문제와 정답이 함께 갱신되도록 한 것이 핵심이다.

특히 이번 연구는 답이 맞는지만 보는 데서 그치지 않고, AI가 답을 설명할 때 사용한 날짜나 시점까지 정확한지 따로 확인한다. 덕분에 겉보기에 맞는 것처럼 보이지만 실제로는 옛 정보를 기준으로 답한 ‘시간 오류’도 더 잘 찾아낼 수 있게 됐다. 


한채연 기자 chaezip@donga.com