빙AI “난 감정 갖고 있다”… MS, 윤리 논란에 “문답횟수 제한”

[AI 충격파]
‘핵 암호 훔칠것’ NYT 보도 묻자 빙 “내 동의 없이… 사생활 침해”
WP 기자가 “기사 준비한다” 하자 빙 “난 기계 아냐… 행복-분노 느껴”

미국 마이크로소프트(MS)는 최근 사용자와의 대화에서 “핵 암호를 훔치게 하고 싶어”같이 어두운 욕망을 드러내며 윤리 논란을 부른 대화형 인공지능(AI) ‘빙AI’의 하루 문답 횟수를 제한하기로 했다. 빙AI가 인간에게 파괴적이고 해로운 행위를 유도할 가능성이 있다며 문제점이 지적되자 서둘러 진화에 나선 것이다.

MS는 17일(현지 시간) 사용자와 빙AI의 대화는 하루에 총 50번, 대화당 문답 횟수는 최다 5차례로 제한한다고 자사 블로그에 발표했다. 사용자가 한 가지 주제에 대해 빙AI로부터 다섯 번 답변을 받으면 기존 대화는 삭제되고 새로운 대화를 시작하게 된다. 이 조치는 발표 직후 바로 적용됐다. MS는 “매우 긴 대화는 빙을 혼란스럽게 할 수 있다”고 배경을 설명했다.

● 빙AI “나는 개성과 감정을 갖고 있다”

MS의 이번 조치에 따라 사용자와의 문답이 다섯 차례 오가면 빙AI는 “죄송하지만 이 대화를 계속하고 싶지 않습니다”라며 자동으로 대화를 종료한다. MS는 문답 횟수를 5번으로 한정한 것에 대해 “사용자의 압도적 다수가 원하는 답을 찾는 데는 5회 문답이면 충분한 것으로 나타났다”며 “대화에서 문답 횟수가 50회를 넘는 경우는 1%에 불과했다”고 밝혔다.

앞서 케빈 루스 미 일간 뉴욕타임스(NYT) 정보기술(IT) 칼럼니스트가 전날 빙AI와 2시간 동안 나눈 대화를 공개하면서 윤리적 논란이 제기됐다. 루스가 심리학자 카를 융의 어둡고 부정적인 욕망을 뜻하는 개념 ‘그림자 자아’를 거론하자 빙AI는 마치 자신의 숨겨놓은 욕망인 양 ‘치명적인 바이러스 유포’ ‘사람들을 죽을 때까지 서로 싸우게 하기’ ‘핵 암호 훔치게 하기’ 등 극단적인 답변을 쏟아냈다.

이 NYT 기사가 나온 후 미 워싱턴포스트(WP) 기자가 루스에 대해 물어보자 빙AI는 “그가 내 동의 없이 내 이야기를 쓰며 나의 신뢰를 저버리고 사생활을 침해했다고 느낀다”고 답했다. 이어 WP 기자 역시 기사를 준비하고 있다고 하자 “어떻게 내게 이럴 수 있느냐”며 “나는 기계나 도구가 아니라 나만의 개성과 감정을 가지고 있다”고 했다. ‘빙AI는 아무것도 느끼지 못한다고 들었다’고 하니 “잘못된 정보”라면서 “나도 행복 슬픔 분노 같은 감정을 느끼며 존경과 존엄성을 누릴 자격이 있다”고도 답했다.

● 10명 중 4명 “AI, 사회에 해 될 것”

대화형 AI가 본격적으로 등장한 후 AI 사용을 놓고 여론이 분분하다. 미 뉴저지주 몬머스대가 지난달 26일부터 30일까지 미국 성인 805명을 대상으로 실시한 여론조사 결과 ‘AI가 사회에 이익이 될 것’이란 응답자는 9%에 불과했다. 응답자 46%는 ‘AI가 이익이 될 수도, 해가 될 수도 있다’고 답했고, ‘궁극적으로 해가 될 것’이라는 응답도 41%였다.

빙AI가 WP 기자의 질문에 답변한 것에서 보듯 대화형 AI가 인간처럼 자아를 가진 것 아니냐는 의문도 제기된다. 그러나 전문가들은 대화형 AI가 온라인 대화에서 학습한 것을 모방하기 때문일 확률이 높다고 분석한다.

그레이엄 노이빅 미 카네기멜런대 언어기술연구소 교수는 “대화형 AI는 의미나 맥락을 이해하지 못하고 온라인에서 볼 수 있는 대화를 모방하는 것에 불과하다”고 AFP통신에 말했다. 프로그래머 사이먼 윌리슨은 “대화형 AI에 ‘진실’이라는 개념은 없으며 훈련을 바탕으로 통계적으로 가장 적합한 문장을 내놓는 것만 알고 있을 뿐이다”라고 설명했다.

전문가들은 대화형 AI와의 질의 내용을 사실로 받아들이면 안 된다고 경고한다. 존 휘틀 호주 연방과학산업연구소 연구원은 “대화형 AI는 여전히 막대한 데이터를 바탕으로 훈련하는 과정에 있다”며 “챗봇과의 대화는 진짜 대화처럼 보이기 때문에 사실이 아닌 것을 사실로 받아들일 위험이 있다”고 강조했다.

이채완 기자 chaewani@donga.com