‘AI 거짓말’에 당하지 않게… ‘걸러내는 AI’ 뜬다

진짜처럼 지어낸 ‘환각 사고’ 속출
빅테크들, 검증 시스템 구축 나서
개인정보-혐오 콘텐츠 즉각 차단
“검증도구, 보안처럼 필수장치 돼”

크게보기

이달 13일(현지 시간) 글로벌 회계·컨설팅 기업 KPMG가 인공지능(AI) 활용 실태를 다룬 자체 보고서를 긴급 회수했다. AI가 사실이 아닌 내용을 그럴듯하게 지어내는 이른바 ‘환각’(할루시네이션) 탓에 보고서 곳곳에 사실이 아닌 내용이 섞여든 사실이 뒤늦게 드러났기 때문이다. 보고서에는 스위스은행 UBS 등 여러 기관의 AI 활용에 대한 허위 내용이 들어 있었다. AI를 분석한 보고서가 정작 AI가 지어낸 가짜 정보로 얼룩진 것이다.

이 같은 AI 환각 사고가 잇따르자 생성형 AI를 업무에 도입한 기업들은 ‘잘 만드는 AI’ 못지않게 ‘잘 걸러내는 AI’에 주목하고 있다. AI가 코드 개발·상담·분석 등 핵심 업무로 파고들수록 답의 신뢰성이 중요해진 까닭이다. 생산성은 높이되 부작용은 막기 위해 답변을 다시 점검하는 ‘AI 검증 솔루션’이 기업용 AI 인프라(기반 설비)의 한 축으로 자리 잡고 있다.

● 빅테크 클라우드에 붙는 ‘AI 검문소’

크게보기

구글과 마이크로소프트(MS) 등 글로벌 빅테크는 기업용 AI 서비스에 발 빠르게 검증 기능을 붙이고 있다. 구글 클라우드는 사용자의 질문과 AI의 답변을 통제하는 보안 도구 ‘모델 아머(Model Armor)’를 도입한 데 이어, 최근에는 AI가 답변을 만들어 내는 순간에도 위험 요소를 실시간으로 솎아내는 기능을 더했다. 두 기능 모두 악의적인 유도 질문이나 개인정보 유출, 혐오 콘텐츠 등을 곧바로 차단해 기업이 실제 현장에서 AI를 한층 안전하게 쓰도록 돕는다.

MS도 자사 클라우드 서비스 ‘애저(Azure)’에서 AI 안전 점검 기능 ‘프롬프트 실드’를 제공한다. 사용자가 AI에 입력하는 질문이나 명령어를 ‘프롬프트’라고 하는데, 이를 교묘하게 조작해 금지된 답변을 끌어내거나 문서·웹페이지에 몰래 숨겨둔 악성 명령을 찾아내 안전장치가 풀리는 것을 막는다. AI 앞에 세운 검문소인 셈이다. MS는 올해 1월 애저 설명 문서를 갱신하며 AI가 만든 콘텐츠의 유해성을 탐지하는 기능을 강조했다.

● 광고·브랜드 지키는 필수 안전장치로 부상

광고·콘텐츠 시장은 이런 AI 검증 시스템이 일찍부터 필요했던 분야로 지목돼 왔다. AI가 대량으로 찍어내는 저품질 ‘AI 슬롭(slop·찌꺼기)’ 옆에 기업 광고가 나란히 붙으면 브랜드 신뢰도가 곧바로 흔들리기 때문이다. 실제로 글로벌 보안기업 CHEQ가 미디어 기업 마그나, IPG미디어랩과 함께 조사한 결과 부적절한 콘텐츠 옆에 광고가 노출되면 브랜드 신뢰도가 최대 60%까지 떨어졌다.

스타트업들도 가세하고 있다. AI 스타트업 마크비전은 온라인 쇼핑몰과 소셜네트워크서비스(SNS)를 뒤져 짝퉁과 무단 도용된 이미지, 브랜드 사칭을 잡아내는 AI 기술인 ‘마크AI’를 운영하고 있다. 영상 이해 AI 기업 파일러는 화면·음성·자막을 함께 분석해 유해 콘텐츠를 걸러내는 멀티모달 AI 기반 브랜드 안전 솔루션 ‘에이드(AiD)’로 해외 시장을 공략하고 있다. 파일러 관계자는 “검증 안 된 AI를 무분별하게 쓰다 사고가 나면 막대한 수습 비용이 든다”며 “AI 검증 도구가 보안처럼 필수 안전장치가 되고 있다”고 말했다.

최경진 한국인공지능법학회장은 “지금까지는 AI의 성능이 시장을 갈랐지만 AI가 고도화될수록 보안과 검증이 더 중요한 화두가 되고 있다”며 “신뢰성과 안전성이 앞으로의 AI 경쟁력을 가를 것”이라고 내다봤다.