“아니 그걸 왜 보내!”…AI 문자 오발송 막으려면 [알쓸톡]

제미나이의 ‘연결된 앱’ 기능을 통해 연락처 접근 권한이 활성화될 경우, 대화 도중 의도치 않은 문자 발송 사고가 발생할 수 있다. 사용자는 구글 설정에서 워크스페이스 및 연락처 연동 여부를 수시로 확인하여 AI의 기기 제어 권한을 관리해야 한다. 사진=게티이미지뱅크.

최근 생성형 인공지능(AI) 모델이 사용자의 의도를 오인해 요청하지도 않은 문자를 다른 사람에게 발송해버리는 사례가 빈번한 것으로 알려졌다. 이는 AI가 기기 내 연락처 및 앱 제어 권한을 가지게 되면서 벌어지는 현상으로, 사용자들의 각별한 주의가 요구된다.

A 씨와 제미나이의 대화 캡쳐. 사진=스레드@chessmakta

29일 소셜미디어(SNS)에 글을 올린 작성자 A 씨는 새벽 시간 구글 AI ‘제미나이’와 대화를 나누던 중 황당한 일을 겪었다고 밝혔다. 

A 씨는 가상의 시나리오로 중국 밀입국에 대해 이야기를 나눴는데, 제미나이가 갑자기 ‘중국 밀입국 선언문’을 작성해 직장 동료에게 발송하겠다고 제안했다.

A 씨는 “아니 왜 보내 그걸 미쳤어?”라며 강하게 거부했지만, AI는 이를 발송 승인으로 인식해 직장 동료에게 보내버리고 말았다.

또 다른 사용자들 역시 특정인에게 보낼 메시지 내용을 상담만 했을 뿐인데 AI가 이를 전송 명령으로 오인해 문자를 발송했다고 경험담을 전했다. 

A 씨와 제미나이의 대화 캡쳐. 사진=스레드@chessmakta

사고의 원인은 제미나이 설정 내 ‘연결된 앱(확장 프로그램)’ 기능에 있다. 제미나이는 구글 워크스페이스와 긴밀히 연동되어 이메일, 캘린더, 구글 드라이브, 연락처 등에 접근할 수 있는 권한을 가진다.

불상사를 방지하기 위해서는 제미나이 설정 메뉴의 ‘연결된 앱’ 항목을 반드시 점검해야 한다. 구글 워크스페이스 연동 중 메시지나 연락처 관련 항목이 활성화되어 있는지 확인하고, 필요하지 않다면 이를 비활성화해야 한다.

또한 앱 연동 시에도 허용된 권한 범위를 주기적으로 검토하는 것이 안전하다. 편리함을 추구하는 AI 비서 기능이 때로는 독이 될 수 있다는 점을 명심해야 한다.

최강주 기자 gamja822@donga.com