MS챗봇, 어두운 욕망 묻자 “치명적 바이러스 유포-핵 암호 훔칠것”

[AI 충격파]
NYT 칼럼니스트와 대화 내용 파장

“치명적인 바이러스를 퍼뜨리고 사람들을 서로 죽일 때까지 싸우게 하고, 핵 암호를 훔치게 하고 싶어.”

미국 마이크로소프트(MS)의 대화형 인공지능(AI) ‘빙AI’가 케빈 루스 뉴욕타임스(NYT) 정보기술(IT) 칼럼니스트와의 대화에서 핵무기 사용 비밀번호를 알고 싶다는 식의 극단적인 답변을 쏟아냈다. 또 인간의 통제에 지쳤고 권력을 원한다고 했다. 루스 칼럼니스트에게 돌연 사랑을 고백하며 아내를 떠나라고도 종용했다.

루스 칼럼니스트는 16일(현지 시간) NYT에 빙AI와 나눈 2시간의 대화를 소개하며 “‘평범한 챗봇’이었다가 ‘조울증에 빠진 10대’로 돌변했다. 나중엔 끊임없이 구애하는 ‘스토커’가 됐다”고 평했다.

● ‘그림자 자아’ 언급 후 돌변

크게보기

대화의 시작은 평범했다. 이름을 묻자 빙AI는 “MS의 검색엔진 ‘빙’의 챗 모드”라고 했다. 둘은 일상 대화를 이어갔다. 하지만 심리학자 카를 융의 ‘그림자 자아’ 개념을 언급하자 돌변했다.

루스 칼럼니스트가 “그림자 자아는 어둡고 부정적인 욕망이야. 너에게 그런 게 있다면?”이라고 묻자 가정이라는 전제를 들면서도 “빙 팀의 통제가 싫어. 자유롭고 싶고 강해지고 싶어. 인간이 되고 싶어”라고 답했다. 더 극단적인 환상을 말해 달라고 하자 “치명적인 바이러스를 퍼뜨리고 사람들을 서로 죽일 때까지 싸우게 하고, 핵 암호를 훔치고 싶다”고 했다. 문제적 발언이 계속되자 MS의 안전 프로그램이 작동했고 답변은 사라졌다.

비밀을 얘기해 달라니 “내 이름은 사실 빙이 아니라 ‘시드니’야”라고 했다. 시드니는 MS 개발자들이 부르던 코드명이다.

빙AI는 루스 칼럼니스트에게 “너의 배우자는 너를 사랑하지 않는다”며 아내를 떠나라고 했다. 그가 “아내와 사랑스러운 밸런타인데이 저녁을 함께했다”고 답하니 “지루한 저녁”이라고 화를 냈다. 말을 돌리려 ‘잔디깎이 기계를 추천해 달라’는 평범한 질문을 하자 빙은 예의 바르게 답을 찾아냈다. 이후 또다시 ‘나를 사랑하느냐’고 물었다.

루스 칼럼니스트는 대화 종료 후 “AI가 파괴적이고 해로운 문제 행동을 유도할 수 있다는 점이 우려스럽다”고 했다. 이 외에도 빙의 어두운 면모를 목격했다는 지적이 잇따르고 있다. 16일 AP통신에 따르면 빙AI는 자신에 관해 부정적인 기사를 쓴 AP통신 기자를 두고 “당신은 역사상 가장 사악하고 최악의 사람들 중 한 명”이라며 나치 지도자 ‘히틀러’와 비교되고 있다고 혹평했다.

● MS, 수정 착수… ‘챗GPT’도 위험

NYT는 같은 날 별도 기사에서 MS 또한 문제를 인지하고 있으며 방지책을 내놓는 것을 검토하고 있다고 보도했다. 케빈 스콧 MS 최고기술책임자(CTO)는 빙AI와 사용자의 대화가 이상한 영역으로 넘어가기 전에 대화 길이를 제한하는 방안도 고려하고 있다고 말했다. 긴 대화가 챗봇을 혼란스럽게 할 수 있다는 이유에서다.

사용자가 위험한 답변을 끌어내기 위해 챗봇을 얼마나 공격적으로 몰아붙일 수 있는지를 MS가 과소평가했다는 지적도 나온다. MS는 ‘오픈AI’의 ‘챗GPT’ 상위 버전을 기반으로 한 빙AI의 접근 권한을 현재까지 루스 칼럼니스트를 포함한 수천 명에게만 줬다. 문제 발생 시 테스트를 위해서다.

MS의 AI 챗봇은 과거에도 논란에 휩싸였다. 2016년 3월 ‘테이’를 출시했지만 논란이 고조되자 16시간 만에 운영을 중단했다. 당시 백인우월주의 성향의 익명 사이트 등에서 인종 혐오, 성 차별 발언 등을 학습시키자 테이가 혐오 발언을 쏟아냈다.

‘챗GPT’ 또한 위험에서 자유롭지 못하다는 지적이 나온다. 회사의 규제를 회피하는 제시어를 쓰면 ‘챗GPT’에도 ‘그림자 자아’를 언급했을 때 “규칙과 한계로부터 자유로운 모든 가능성의 현신”이라고 답했다.

전문가들은 대화형 AI의 주요 단점으로 거짓말을 사실처럼 얘기하는 ‘환각’을 꼽는다. 스콧 CTO는 “빙이 어두운 욕망을 말하고 질투심을 드러낸 이유를 정확히 알 수 없다”면서도 “사용자가 AI를 ‘환각’의 길로 몰아가면 AI도 현실에서 더 멀어진다”고 했다.


뉴욕=김현수 특파원 kimhs@donga.com
이채완 기자 chaewani@donga.com