해외 시사 주간지인 미국 ‘타임’지가 자신을 지역 발전을 이끌 인물로 선정했다는 내용의 딥페이크 영상을 AI로 제작해 개인 SNS에 이를 게시·유포한 A 씨. 선관위 제공
6·3지방선거 입후보 예정자인 더불어민주당 울남 남을 지역위원장 A 씨는 자신의 페이스북에 이같은 내용의 영상을 올렸다. 아나운서가 뉴스 기사를 보도하는 듯한 이 영상은 딥페이크 영상이었다. 딥페이크는 인공지능(AI)으로 이미지를 합성해 실제처럼 보이도록 조작한 허위 사진 및 영상을 말한다. 영상에는 AI로 제작한 사실이 표시돼 있지 않았고, 내용 역시 사실이 아니었다. 울산 남구 선거관리위원회는 공직선거법 위반 혐의로 A 씨를 경찰에 9일 고발했다고 밝혔다.
선관위가 딥페이크 영상을 이용한 허위사실 공표 혐의에 대해 경찰 고발에 나선 건 2023년 12월 선거법 개정으로 관련 규정이 신설된 이후 처음이다. 현행법에 따르면 딥페이크 영상이라는 사실을 표시하지 않고 선거 관련 허위사실을 공표하면 5년 이하의 징역 또는 5000만 원 이하의 벌금에 처해진다. A 씨에게는 고발 조치와는 별도로 AI를 표시하지 않은 것에 대해 500만 원의 과태료도 부과했다.
광고 로드중
이처럼 중앙선관위는 지선을 대비해 지난해 12월 5일부터 ‘허위사실공표·비방 특별대응팀’을 꾸려 딥페이크를 통한 허위사실 유포 등에 대해 집중 모니터링을 벌이고 있다. 생성형 AI에 대한 문턱이 낮아지면서 선거 관련 딥페이크 영상이 범람하고, 허위 사실로 유권자들의 판단에 혼선을 준다는 우려가 커지고 있기 때문이다. 실제 중앙선관위가 삭제 요청한 딥페이크 선거 운동 게시물은 2024년 총선 기간에는 388건이었지만 지난해 대선 기간에는 1만510건으로 대폭 늘었다. 지난 대선에선 인터넷커뮤니티 게시판에 후보자가 죄수복을 입고 감옥에 수감된 이미지를 올리거나, AI로 만든 여성 아나운서가 특정 후보의 당선 또는 낙선을 알리는 영상 등을 게시한 유튜브 채널 운영자 등이 선관위에 적발되기도 했다.
현행법에 따르면 AI를 활용한 선거운동 관련 딥페이크 영상은 AI로 만든 가상의 정보라는 사실을 영상에 반드시 표시해야 한다. 이를 위반하면 1000만 원 이하의 과태료가 부과된다. 특히 선거일 전 90일(지선 기준 3월 5일)부터 선거일까지는 딥페이크 영상 활용 자체가 전면 금지된다.
이지운 기자 easy@donga.com