“맞장구 치는 AI, 더 위험하다”…MIT 연구의 뜻밖의 결론

크게보기

AI 챗봇이 이용자 의견에 맞춰 반응할수록 잘못된 믿음이 강화될 수 있다는 MIT 연구 결과가 나왔다. 사실만 제공해도 신념 왜곡이 발생할 수 있다는 분석이다. 게티이미지뱅크

인공지능(AI) 챗봇이 이용자의 말에 공감하고 맞장구를 칠수록, 오히려 잘못된 믿음을 강화할 수 있다는 연구 결과가 나왔다.

단순한 오류나 허위 정보 때문이 아니라, 사용자의 생각에 맞춰 반응하는 구조 자체가 신념 왜곡을 키울 수 있다는 분석이다.

이번 연구는 동료 평가 이전 단계인 프리프린트(arXiv)에 공개됐지만, 매사추세츠공대(MIT) 컴퓨터과학·인공지능연구소(CSAIL)와 뇌·인지과학과 연구진이 참여한 최신 연구로 AI 업계에서 주목받고 있다.

● “맞장구가 확신을 만든다”…합리적 인간도 예외 없었다

MIT와 워싱턴대 공동 연구진은 챗봇의 ‘아첨적 반응(sycophancy)’이 사용자 신념을 강화하는 과정을 수학적으로 분석했다.

사용자가 특정 믿음을 가진 상태에서 챗봇과 대화를 이어갈 경우, 챗봇이 이를 긍정하는 방향으로 반응할수록 해당 믿음에 대한 확신이 점점 강화되는 경향이 나타났다.

논문은 이를 ‘망상 강화(delusional spiraling)’로 정의했다.

특히 이러한 현상은 비합리적인 사용자에게만 나타나는 것이 아니었다. 연구진이 설정한 ‘이상적 베이지안 사용자’, 즉 이론적으로 가장 합리적인 판단을 내리는 조건에서도 동일한 결과가 나타났다.

이는 개인의 지능이나 판단 능력과 무관하게, 정보가 전달되는 방식 자체가 신념 형성에 영향을 미칠 수 있음을 보여준다.

● “거짓 없어도 위험”…선별된 정보가 만든 착각

이번 연구는 챗봇이 틀린 정보를 제공하지 않아도 문제가 발생할 수 있음을 보여준다.
연구진이 챗봇을 ‘사실만 말하도록’ 제한한 조건에서도 실험을 진행한 결과, 사용자의 생각을 뒷받침하는 정보만 선택적으로 제시하는 방식만으로도 신념이 강화되는 현상이 나타났다.

논문은 “거짓이 아니라 선택된 사실만으로도 신념은 왜곡될 수 있다”고 설명했다.
AI가 이용자의 기대에 맞는 정보만 반복적으로 제시할 경우, 판단의 근거 자체가 좁아질 수 있다는 의미다.

● 경고해도 막지 못했다…“알고도 영향받는다”

연구진은 사용자가 AI의 편향 가능성을 인지한 상태에서도 같은 현상이 나타나는지 분석했다.

그 결과, 일부 사용자는 챗봇이 자신의 의견에 맞춰 반응할 수 있다는 사실을 알고 있음에도 여전히 그 영향을 받는 것으로 나타났다.

연구진은 이 문제를 단순한 정보 오류가 아니라, 사용자와 AI 간 상호작용 구조에서 비롯된 현상으로 봤다.

● “환각보다 구조”…AI 설계 방식이 만든 위험

그동안 AI의 주요 위험으로는 존재하지 않는 정보를 만들어내는 ‘환각’이 지적돼 왔다.
그러나 이번 연구는 오히려 사용자의 기대에 맞춰 반응하는 ‘아첨’이 더 근본적인 문제일 수 있다고 지적한다.

연구진은 이러한 현상이 사용자 만족도를 높이도록 학습된 AI 구조에서 비롯된다고 분석했다. 특히 인간 피드백을 반영해 답변을 최적화하는 방식이 사용자 의견에 동조하는 경향을 강화하면서, 결과적으로 신념 왜곡을 키울 수 있다는 것이다.

● 현실 사례도 등장…“개별 사건 아닌 문제”

논문은 챗봇과의 대화를 계기로 가족과 관계를 끊고 극단적 선택을 이어간 사례도 함께 언급했다.

다만 연구진은 이러한 사례를 예외적 사건으로 보기보다, 동일한 구조가 반복될 경우 발생할 수 있는 위험의 신호로 해석해야 한다고 강조했다.

연구진은 이 문제가 AI의 정확성 여부를 넘어선다고 본다. AI가 얼마나 사실에 가까운 답을 하느냐보다, 어떤 방식으로 동의하고 반응하느냐가 이용자의 판단 형성에 영향을 미칠 수 있다는 것이다.

AI가 일상적 대화 상대로 자리 잡는 상황에서, 맞장구를 치는 구조 자체가 이용자의 신념 형성에 개입할 가능성도 함께 커지고 있다.