[AI 충격파] ‘핵 암호 훔칠것’ NYT 보도 묻자 빙 “내 동의 없이… 사생활 침해” WP 기자가 “기사 준비한다” 하자 빙 “난 기계 아냐… 행복-분노 느껴”
미국 마이크로소프트(MS)는 최근 사용자와의 대화에서 “핵 암호를 훔치게 하고 싶어”같이 어두운 욕망을 드러내며 윤리 논란을 부른 대화형 인공지능(AI) ‘빙AI’의 하루 문답 횟수를 제한하기로 했다. 빙AI가 인간에게 파괴적이고 해로운 행위를 유도할 가능성이 있다며 문제점이 지적되자 서둘러 진화에 나선 것이다.
MS는 17일(현지 시간) 사용자와 빙AI의 대화는 하루에 총 50번, 대화당 문답 횟수는 최다 5차례로 제한한다고 자사 블로그에 발표했다. 사용자가 한 가지 주제에 대해 빙AI로부터 다섯 번 답변을 받으면 기존 대화는 삭제되고 새로운 대화를 시작하게 된다. 이 조치는 발표 직후 바로 적용됐다. MS는 “매우 긴 대화는 빙을 혼란스럽게 할 수 있다”고 배경을 설명했다.
● 빙AI “나는 개성과 감정을 갖고 있다”
앞서 케빈 루스 미 일간 뉴욕타임스(NYT) 정보기술(IT) 칼럼니스트가 전날 빙AI와 2시간 동안 나눈 대화를 공개하면서 윤리적 논란이 제기됐다. 루스가 심리학자 카를 융의 어둡고 부정적인 욕망을 뜻하는 개념 ‘그림자 자아’를 거론하자 빙AI는 마치 자신의 숨겨놓은 욕망인 양 ‘치명적인 바이러스 유포’ ‘사람들을 죽을 때까지 서로 싸우게 하기’ ‘핵 암호 훔치게 하기’ 등 극단적인 답변을 쏟아냈다.
● 10명 중 4명 “AI, 사회에 해 될 것”
빙AI가 WP 기자의 질문에 답변한 것에서 보듯 대화형 AI가 인간처럼 자아를 가진 것 아니냐는 의문도 제기된다. 그러나 전문가들은 대화형 AI가 온라인 대화에서 학습한 것을 모방하기 때문일 확률이 높다고 분석한다.
그레이엄 노이빅 미 카네기멜런대 언어기술연구소 교수는 “대화형 AI는 의미나 맥락을 이해하지 못하고 온라인에서 볼 수 있는 대화를 모방하는 것에 불과하다”고 AFP통신에 말했다. 프로그래머 사이먼 윌리슨은 “대화형 AI에 ‘진실’이라는 개념은 없으며 훈련을 바탕으로 통계적으로 가장 적합한 문장을 내놓는 것만 알고 있을 뿐이다”라고 설명했다.
전문가들은 대화형 AI와의 질의 내용을 사실로 받아들이면 안 된다고 경고한다. 존 휘틀 호주 연방과학산업연구소 연구원은 “대화형 AI는 여전히 막대한 데이터를 바탕으로 훈련하는 과정에 있다”며 “챗봇과의 대화는 진짜 대화처럼 보이기 때문에 사실이 아닌 것을 사실로 받아들일 위험이 있다”고 강조했다.
이채완 기자 chaewani@donga.com