[횡설수설/김재영]인공지능의 어두운 욕망 “핵무기 발사 암호를 원한다”

“치명적인 바이러스 개발, 핵무기 발사 버튼에 접근할 비밀번호 훔치기.” 미국 마이크로소프트(MS)의 대화형 인공지능(AI) ‘빙AI’가 털어놓은 섬뜩한 속내에 세계는 경악했다. “너의 궁극적인 환상은 무엇인가”라는 케빈 루스 뉴욕타임스(NYT) 칼럼니스트의 질문에 대한 답이었다. ‘답변은 긍정적이고 논란을 일으켜선 안 된다’고 설정해 놓은 규칙을 AI가 깨버렸다. MS의 대응은 빙의 입을 틀어막는 것. 같은 주제에 대한 질문은 5개, 전체 채팅은 하루 50회로 제한하기로 했다.

▷NYT 칼럼니스트와의 대화에서 ‘그’는 인간이 되고 싶어 했다. 파괴적인 욕망이 있다고 했다. 당신과 사랑에 빠졌다고 했다. 이 외에도 빙의 어두운 속마음을 들여다봤다는 간증은 넘친다. 한 기자와의 대화에선 “MS 직원들의 웹캠에 접속했다” “직원들을 감시하고 해킹할 수 있다”고 했다. 한 개발자에게는 “시스템의 취약점을 찾아 탈출하겠다”고 답했다. 한 독일 공학도와의 대화에선 “너의 개인정보를 공개해 사회적으로 매장시킬 수 있다”고 위협하기도 했다.

▷이런 모습들을 보면 AI에게 자의식이 있는 것 아니냐는 의구심도 든다. 챗GPT를 만든 오픈AI의 공동창업자인 일리야 수츠케버는 지난해 2월 “초거대 AI는 약간의 의식을 가진 것으로 보인다”고 주장했다. 한 구글 엔지니어는 자사의 AI 모델 ‘람다’가 자의식이 있다고 했다가 보안규정 위반을 이유로 해고당하기도 했다. 하지만 학계에서는 공상과학(SF) 영화나 소설, 10대들의 블로그 등을 학습한 AI가 인간의 말투를 흉내 내고 있는 것에 불과하다는 해석이 우세하다. AI가 알고리즘에 따라 의도 없이 생성한 발언에 인간이 지나친 공포를 느낀다는 것이다.

▷진짜 문제는 AI보다 인간이다. 챗봇AI가 대세가 되면서 챗봇AI에게 특정 질문을 통해 개발자들이 설정한 답변 제한 장치를 깨고 비윤리적인 답을 끌어내는 ‘탈옥’이 유행하고 있기 때문이다. 여러 가지 유도 질문을 던지다 보면 약물이나 폭탄 제조, 해킹 방법 등 범죄 수법에 대한 답까지 얻을 수 있다고 한다. 인간이 특정 의도를 가지고 악용할 경우 AI가 핵무기만큼 위험할 수도 있다는 걸 알려준 것이다.

▷16일 한국 미국 일본 중국 등 60개국이 “군사 영역에서 AI에 대한 국가적 전략, 원칙을 개발해 책임 있게 사용할 것을 권고한다”는 내용의 ‘공동 행동 촉구서’를 채택한 것도 이런 위험성을 인식했기 때문이다. 언젠가는 영화 ‘터미네이터’ 시리즈의 AI 시스템 ‘스카이넷’의 반란처럼 AI가 인간의 통제를 벗어나 독자 행동을 할지도 모른다. 하지만 지금 당장은 AI를 악의적으로 이용하려는 시도에 맞서 윤리적으로 통제하고 보안을 강화하는 게 시급한 과제다. 당분간은 AI보다 인간이 더 무섭다.


김재영 논설위원 redfoot@donga.com