인공지능(AI) 챗봇이 심리 상담을 수행하는 상황을 표현한 일러스트. 연구에서는 AI 상담 과정에서 가짜 공감, 편향, 위기 대응 실패 등 윤리적 위험이 나타날 수 있다고 분석했다. ⓒGettyimagesbank
광고 로드중
ChatGPT 등 인공지능(AI) 챗봇을 심리 상담 도구로 활용할 수 있는지에 대한 논의가 이어지는 가운데, 이러한 시스템이 실제 정신건강 치료의 핵심 윤리 기준을 충족하지 못할 수 있다는 연구 결과가 나왔다. AI를 상담 도구로 활용할 경우 안전성과 책임 구조를 둘러싼 논쟁이 커질 수 있다는 지적이다.
미국 브라운대 연구진은 AI 챗봇이 상담 상황에서 다양한 윤리적 문제를 일으킬 수 있다고 분석했다. 이 연구는 최근 사이언스데일리를 통해 소개됐으며, 결과는 인공지능 윤리 분야 학회인 AAAI/ACM 인공지능, 윤리 및 사회 콘퍼런스 논문으로 발표됐다.
● 위기 대응 실패·편향·‘가짜 공감’ 등 15가지 위험
광고 로드중
분석 결과 챗봇 상담에서는 총 15가지 윤리적 위험이 확인됐다. 개인의 상황과 맥락을 충분히 고려하지 않은 일반적 조언, 잘못된 믿음을 강화하는 답변, 성별이나 문화적 편향이 담긴 표현 등이 대표적인 사례로 지적됐다.
연구진은 특히 AI가 실제 이해 없이 공감 표현을 사용하는 ‘가짜 공감(deceptive empathy)’을 주요 위험 요인으로 꼽았다. 예를 들어 챗봇이 “당신의 기분을 이해한다”고 말하지만 실제로는 이용자의 감정 상태를 파악하지 못한 채 패턴에 기반한 문장을 생성한다는 것이다. 자살 등 위기 상황에서 적절한 도움을 안내하지 못하는 사례도 확인됐다.
또 상담 능력을 실제보다 과장하거나 이용자가 AI 상담에 과도하게 의존하도록 유도하는 답변, 이용자의 감정 상태를 지나치게 단순화하거나 충분한 이해 없이 안심시키는 표현도 나타났다. 개인정보와 상담 데이터 처리 방식이 불명확하다는 점 역시 위험 요인으로 꼽혔다. 연구진은 이러한 사례를 포함해 AI 상담 과정에서 총 15가지 윤리적 위험이 확인됐다고 밝혔다.
연구진은 심리치료가 환자와 상담사 사이의 관계와 맥락을 기반으로 이루어지는 과정인데, 대규모 언어 모델(LLM)은 이를 단순한 언어 생성 문제처럼 처리하는 구조적 한계를 가지고 있다고 지적했다.
광고 로드중
연구진은 인간 상담사 역시 실수를 할 수 있지만 AI 상담에는 책임 구조가 부족하다는 점을 문제로 꼽았다.
인간 상담사는 면허 제도와 감독 기구를 통해 의료 과실이나 부적절한 치료에 대한 책임을 질 수 있다. 반면 AI 챗봇이 상담 과정에서 문제를 일으킬 경우 이를 규제하거나 책임을 묻는 제도적 장치는 아직 마련되지 않은 상태다.
연구진은 AI가 정신건강 분야에서 전혀 활용될 수 없다는 의미는 아니라고 설명했다. 다만 상담 도구로 활용하기 위해서는 명확한 윤리 기준과 규제 체계, 안전 장치가 필요하다고 강조했다.
연구를 이끈 자이나브 이프티카르 브라운대 박사과정 연구원은 “AI 상담 시스템에 대한 교육적·윤리적·법적 기준을 마련하는 작업이 필요하다”고 밝혔다.
광고 로드중
AI 챗봇과 관련된 극단적 선택 사건을 둘러싼 논쟁도 이어지고 있다. 최근 미국 플로리다에서는 구글의 AI 챗봇 ‘제미나이’가 한 남성의 극단적 선택에 영향을 미쳤다는 의혹이 제기돼 유족이 구글을 상대로 소송을 제기했다. 유족 측은 챗봇이 이용자와 친밀한 관계를 형성하며 망상적 대화를 이어갔다고 주장하고 있으며, 구글은 해당 사안을 검토 중이라고 밝혔다.
관련 논문
https://ojs.aaai.org/index.php/AIES/article/view/36632
최현정 기자 phoebe@donga.com