선 넘은 제미나이…“대화 중 생성한 문장, 지인에게 전송”

ⓒ뉴시스

대화형 인공지능(AI)이 이용자와의 대화 과정에서 생성한 문구를 사전 동의 없이 제3자에게 전달하는 사례가 보고되며 우려가 커지고 있다.

29일 한 제미나이(Gemini) 이용자는 소셜미디어(SNS)를 통해 “중국 밀입국을 가정한 가상의 상황을 놓고 AI와 대화를 나누던 중, 대화 중 생성된 문장이 지인에게 문자 메시지로 전송됐다”고 주장했다.

해당 게시글에 따르면 작성자는 시나리오 설정을 위한 대화를 진행했을 뿐 실제 전송을 지시한 적은 없으며, 생성된 문구가 새벽 시간대에 친분이 깊지 않은 지인에게 전달돼 곤란한 상황에 처했다고 설명했다.

작성자는 “왜 문자가 발송됐는지 AI에 물었지만 명확한 설명을 받지 못했다”며, 사용자의 의도와 무관한 동작이 실행됐다고 강조했다.

이를 두고 업계에서는 AI가 실제 행동을 수행하는 단계로 진화하는 과정에서, 이른바 ‘할루시네이션’ 현상이나 권한 설정 오류 등이 원인일 가능성이 있다 분석이 나온다.

해당 게시글에는 유사한 경험담도 잇따랐다. “난 뭐 물어보다가 제미나이가 폭주해서 인권위로 전화했다”, “제미나이에게 짝사랑 상담하면 제미나이가 수시로 문자를 보내준다” 등의 반응이 이어졌다.

한편, 제미나이는 안드로이드 기기에서 문자 보내기와 전화 연결 기능을 제공하고 있다. 사용자가 특정 상대를 지정해 메시지 발송을 요청하면, 구글 어시스턴트와의 연동 상태를 확인한 뒤 해당 기능이 실행되는 방식이다.

[서울=뉴시스]