‘오늘 환율 묻자 1년전 정보’ AI 시간오류 개선

KAIST팀, ‘시간환각’ 탐지율 높여
의료-법률 분야 신뢰성 향상 기대

최신 정보를 묻는데 과거 데이터를 기반으로 답하는 인공지능(AI). 국내 연구진이 이렇듯 맞는 듯 보이지만 이미 시효가 지난 답을 내놓는 AI의 고질적인 ‘시간 오류’를 걸러낼 평가 기술을 내놓았다.

14일 KAIST는 황의종 전기및전자공학부 교수 연구팀이 마이크로소프트 리서치와 공동으로 대형언어모델(LLM)의 시간 오류를 자동으로 잡아내는 평가 시스템을 개발했다고 밝혔다.

AI는 ‘무엇이 맞는지’는 곧잘 알지만 ‘지금 시점에서 맞는지’를 구별하는 데는 취약하다. 챗GPT에 “지난달 취임한 장관이 누구냐”고 물으면 1년 전 인물을 답하거나, “오늘 원-달러 환율이 얼마냐”고 질문하면 몇 개월 전 수치를 제시하는 식이다. LLM의 활용 범위가 의료, 법률 등 전문 영역으로 확대됨에 따라 답변의 신뢰성 검증이 중요해지는 데 반해 기존의 AI 평가 방식은 정답 여부만 확인하는 수준에 머물러 있었다.

이에 연구팀은 정보가 시간에 따라 어떻게 바뀌는지를 함께 기록하는 ‘시간 데이터베이스’ 개념을 AI 평가에 도입했다. AI가 답을 맞혔는지만 보는 데 그치지 않고, 답변 과정에서 제시한 날짜와 기간까지 정확한지 따로 검증했다. 이를 통해 겉으로는 정답처럼 보이지만 시간적 근거가 잘못된 이른바 ‘시간 환각(Temporal Hallucination)’ 현상을 기존 방식 대비 평균 21.7% 더 정확하게 탐지하는 성과를 거뒀다.

황 교수는 “방대한 전문 데이터를 평가 자원으로 전환함으로써 향후 의료, 법률 등 다양한 분야의 AI 성능 검증에 실질적인 기반이 될 것으로 기대한다”고 말했다.



한채연 기자 chaezip@donga.com