슈퍼 선거의 해, AI 딥페이크 ‘창과 방패’ 싸움 인니-인도, 딥페이크 영상 기술로 사망한 정치인 등장시켜 지지 호소 비키니 영상-가짜 시위대 모습 등… 악의적으로 만든 콘텐츠도 확산 조악한 수준의 영상-사진이라도 상황따라 진짜로 여겨지기 쉬워 20개 빅테크 공동대응 협약했지만… 비영어권에선 실효성 없단 지적도
8일 치러진 파키스탄 총선의 개표 결과가 속속 나오고 있던 9일 저녁. 임란 칸 전 총리의 소셜미디어 X(옛 트위터) 계정엔 그의 승리 연설 영상이 올라왔다. 칸 전 총리는 자신만만한 목소리로 그가 이끄는 정당 파키스탄정의운동(PTI)이 다수 의석을 차지했다고 선언했다. 하지만 이때 그는 연설은커녕, 영상을 찍으러 나올 수조차 없었다. 감옥에 갇혀 있었기 때문이다. 그리고 영상 왼쪽 상단엔 ‘네 번째 공식 AI(인공지능) 음성’이란 안내가 나와 있었다. 수감 중인 정치인이 AI로 자신을 대신할 ‘가짜 임란 칸’을 만들어 선거에 활용한 것이다.
● 타계한 정치인까지 끌어내는 ‘AI 부활’
칸 전 총리는 부패 및 기밀문서 유출 혐의로 유죄 판결을 받고 지난해 8월부터 감옥에 갇혀 있다. 이 때문에 총선 유세가 본격화되던 지난해 가을부터 AI를 이용한 연설로 지지를 호소해 왔다. 옥중에서 변호인에게 메모를 전달하면 이를 미국 스타트업 일레븐랩스의 소프트웨어를 사용해 AI 딥페이크 영상을 제작했다.32년간 독재 집권한 수하르토 전 대통령은 인권 탄압 등으로 비판받으면서도, 임기 동안 급격한 경제 성장을 이루기도 해 평가가 엇갈리는 인물이다. 수하르토 전 대통령의 정치 기반이었던 골카르당은 그에 대한 향수를 느끼는 유권자들을 노려 해당 영상을 만들었다. 골카르당의 에르윈 악사 부총재는 X에 영상을 올리며 “수하르토 전 대통령이 인도네시아에 가져온 많은 성공을 존중하고 그의 봉사를 기억해야 한다”고 쓰기도 했다. 이 영상은 X에서만 470만 회가 넘는 조회수를 기록하고 틱톡과 유튜브 등 다양한 플랫폼으로 퍼져 나갔다.
당연히 모두가 ‘부활한 수하르토’를 반긴 건 아니었다. 이미 세상을 떠난 인물, 그것도 독재자를 내세운 딥페이크 영상에 비판과 반발도 쏟아졌다. 한 시민은 미국 CNN방송과의 인터뷰에서 “물론 수하르토가 다시 살아났다고 믿는 사람은 아무도 없을 것”이라며 “하지만 이 나라에서 수하르토와 그의 독재 이념이 다시 인기를 얻고 있다는 게 두렵다”고 했다.
굳이 세상을 떠난 정치인까지 AI로 부활시키는 의도는 뭘까. 유권자들, 특히 중장년층은 과거의 영광을 그리워하는 성향이 있다. 특히 지난 시기 급속한 경제 성장을 경험한 지역일수록 이런 분위기가 강하다고 한다. 인도 정치평론가인 수만스 라만은 알자지라 방송에서 “사망한 지도자들이 살아 있는 정치인들보다 인기 있는 경우가 많다”며 “이를 이용한 정치 캠페인에 최근 정당들이 열광하고 있다”고 말했다.
● 여성 정치인 비키니 합성 등 악의적 영상도
자기 진영에 대한 지지나 호감을 얻기 위해 AI를 활용하는 경우는 ‘양반’에 해당한다. 실제로는 상대 진영을 공격하려 악의적으로 만든 가짜 AI 딥페이크 콘텐츠가 훨씬 빠르게 늘어나는 추세다.지난달 7일 총선을 치른 방글라데시에선 1개월 사용료 24달러(약 3만 원)인 싸구려 AI 툴을 활용한 딥페이크 영상들이 지난해 내내 온라인에서 난무했다. 지난해 7월 페이스북에 올라온 야당 여성 정치인 루민 파르하나와 니푼 로이가 수영복을 입고 있는 동영상이 대표적이다. 방글라데시는 이슬람 가치관이 지배적인 국가다. 여성 후보가 수영복을 입고 맨살을 드러내는 건, 이들의 정치 행보에 엄청난 타격을 줄 수도 있다. 사실확인기관 ‘루머스캐너’가 나서 “AI로 만들어진 가짜”라고 보도했지만, 해당 영상은 계속해서 퍼져 나갔다.
● 16개국서 딥페이크 허위정보 빠르게 확산
이런 AI 콘텐츠들은 선거는 물론 일상적인 이슈에 대한 여론 형성에도 이미 상당한 영향을 끼치고 있다. 지난해 프랑스에서는 연금개혁을 요구하며 항의 시위에 참석했던 고령의 남성이 경찰에 둘러싸인 채 피를 흘리는 이미지가 소셜미디어에 퍼졌다. 당시 해당 사진은 에마뉘엘 마크롱 대통령에 대한 비판 여론이 급속도로 커지는 데 기여했다. 하지만 한참 뒤에야 해당 남성 사진은 AI로 만들어졌다는 사실이 밝혀졌다.
이렇다 보니 ‘AI 정치 컨설팅’이라는 새로운 영역이 전도유망한 산업으로 떠오르기도 한다. 인도 최대 정치컨설팅 회사인 자비스 컨설팅은 알자지라에 “광고 등 AI를 활용한 선거 콘텐츠 마케팅 문의가 쏟아지고 있다”며 “올해 4∼5월 선거에서만 약 6000만 달러(약 800억 원) 규모의 시장이 열릴 것”으로 전망했다. AI 수하르토 영상을 올린 인도네시아 게린드라당의 악사 부총재도 “AI가 캠페인에 메시지를 전파하는 좋은 매체가 될 수 있다”고 했다.
사실 AI 딥페이크 영상은 몇몇 경우를 제외하면 유심히 살피면 가짜라는 걸 눈치챌 수 있을 정도로 조악한 경우가 많다. 칸 전 총리의 승리 연설 영상은 1분 34초 분량이지만, 그가 실제로 말하는 듯한 분량은 7초에 불과하다. 그마저도 여러 대목에서 음성과 입 모양이 맞지 않는다.
최병호 고려대 인공지능연구소 교수는 동아일보와의 통화에서 “완성도가 높지 않은 영상이라도 상황에 따라 사람들이 진짜라고 믿어버릴 가능성은 언제든지 존재한다”며 “이미 진위 구별이 어려운 수준의 기술이 등장한 만큼, 머지않은 미래에 큰 비용을 들이지 않고도 진짜 같은 가짜 AI 콘텐츠를 쏟아내는 시대가 올 것”이라 내다봤다.
각국 정부도 AI를 수수방관하고 있는 것은 아니다. 인도네시아와 방글라데시, 인도 등은 허위정보 콘텐츠를 방관하는 플랫폼에 법적 책임을 묻는 법안을 통과시켰다. 하지만 이런 규제가 오히려 권위주의 정부에선 자칫 검열 수단으로 역이용될 수 있단 지적도 나온다. 프리덤하우스는 “선거를 앞두고 정부 검열이 강화되면 여당에 대한 비판과 독립적 보도가 잠잠해진다”고 지적했다.
● 규제 약속한 빅테크, 실효성은 갸웃
소셜미디어와 생성형 AI 개발사들을 비롯한 20개 글로벌 빅테크들은 16일 독일 뮌헨안보회의(MSC)에서 AI를 악용해 선거에 영향을 끼치는 행위에 공동 대응하기로 합의했다. 이들은 유권자에게 영향을 줄 수 있는 딥페이크를 감지하는 기술을 개발하고, 이 같은 콘텐츠엔 라벨(꼬리표)을 붙이겠다고 밝혔다. 하지만 합의문에 정작 중요한 “딥페이크 콘텐츠를 금지하거나 삭제해야 한다”는 등의 문구는 담기지 않았다. 안 그래도 모호한 합의문이 구속력까지 갖추지 못했다는 지적도 나온다.
기업들이 약속한 딥페이크를 감지하고 막는 기술이 어느 정도나 효과를 거둘지도 여전히 미지수다. 예컨대 마이크로소프트(MS)의 AI 기반 무료 이미지 제작 도구인 ‘이미지 크리에이터’는 현재 정치인의 이미지 생성을 막고 있지만 허점이 크다. ‘나렌드라 모디 총리’라는 이름을 넣으면 생성이 거부되지만 “인도의 유명 정치 지도자”를 그려 달라고 하면 결국 모디 총리의 이미지가 만들어지는 식이다.
최 교수는 “감지 기술이 개발되면 그것을 피해 가려는 기술도 또 만들어질 것”이라며 “서로를 넘어서는 기술을 계속 개발하는 데에는 엄청난 투자가 필요하다”고 전망했다. 기술·미디어 감시단체인 프리프레스의 노라 베나비데즈 변호사는 “선거철마다 기술 기업들은 항상 모호한 기준을 약속해 왔고, 그마저도 완전히 이행하지 못했다”고 지적했다.
무엇보다 빅테크들의 조치는 비영어권의 AI 딥페이크 콘텐츠를 막기엔 역부족이라는 비판이 거세다. 빅테크들은 주로 정치광고 분야에서의 AI 규제에 초점을 맞추고 있지만, 서구권처럼 정치광고가 활발하지 않은 국가라면 효과가 제한적이라는 점도 문제다. 사바나즈 라시드 디야 전 메타 임원은 “AI의 허점을 해결하기 위한 해법들은 여전히 서구 중심적”이라며 “특히 영어가 아닌 언어로 만들어진 콘텐츠를 식별하는 데에 효과적이지 않다”고 영국 파이낸셜타임스(FT)에 비판했다.
김보라 기자 purple@donga.com
홍정수 기자 hong@donga.com