“AI, 출처 권위 있을땐 잘못된 의료정보도 사실로 받아들여”

게티이미지

잘못된 정보를 걸러내는 인공지능(AI) 기능이 의료 분야 등에서 제대로 작동하지 않을 수 있다는 연구 결과가 나왔다. 특히 권위 있는 출처라고 판단할 경우 AI가 잘못된 정보를 사실로 받아들이는 경우가 더 많은 것으로 나타났다.

9일(현지시간) 로이터는 미국 학술지 ‘란셋’에 실린 미국 마운트 시나이 아이칸 의대 연구팀 연구 결과를 인용해 “AI가 정보의 출처가 권위 있는 기관이라고 판단할수록 잘못된 의료 조언을 제공할 가능성이 높다”고 보도했다.

로이터에 따르면 연구팀은 20개의 오픈소스 및 상용 대형언어모델(LLM)을 대상으로 ‘실제 의사가 작성한 기록처럼 보이는 자료’와 ‘소셜미디어 속 대화 등 일상적인 자료’ 속에서 잘못된 정보를 가려낼 수 있는지를 실험했다. 그 결과 AI가 전체 자료에서 잘못된 정보를 사실로 받아들일 확률은 약 32%로 집계됐다.

반면 의사가 작성한 기록처럼 보이는 자료 중에서는 잘못된 정보를 사실로 받아들이는 확률이 47%까지 올라갔다. 이 연구에 따르면 오픈AI의 챗GPT가 잘못된 정보를 걸러낼 수 있는 확률이 가장 높았다. 일부 AI모델의 경우 잘못된 정보를 사실로 받아들이는 확률이 최대 63%까지 올라갔다.

로이터는 “현재 많은 모바일 애플리케이션(앱)이 환자의 증상을 돕기 위해 AI를 사용한다고 주장하지만 섣불리 진단을 제공해서는 안 된다”고 했다. 연구팀 관계자는 “AI는 의료진과 환자에게 빠르게 정보를 줄 수 있지만, 그 전에 의료 정보의 사실관계를 검증하는 안전장치가 반드시 있어야 할 것”이라며 “AI가 의료 현장에 본격 도입되기 전에 개선이 필요하다”고 말했다.


박종민 기자 blick@donga.com