AI 기본법 최초 시행, 신뢰성 고민이 먼저다

개인이나 집단의 성취를 부각하려고 할 때 ‘최초’임을 강조하는 경우를 흔히 본다. 몇 년 전 흥행 돌풍을 일으키며 역대 한국 영화 누적 관객 수 2위에 오른 영화에는 “지금까지 이런 맛은 없었다. 이것은 갈비인가 통닭인가”라는 대사가 나오는데, 여기서도 ‘최초’를 강조하지 않던가. ‘최초’가 의미 있는 이유는 누구도 하지 못한 일을 해내고, 아무도 가지 않은 길을 택하는 것이 얼마나 어려운 일인지 우리 모두 알고 있기 때문이겠다.

그간 의견이 분분했던 ‘인공지능(AI) 발전과 신뢰 기반 조성 등에 관한 기본법’(AI 기본법)이 올해 1월 22일 세계 ‘최초’로 전면 시행됐다. 산업 진흥에 초점을 두되, 투명성과 안전성 의무를 명시함으로써 신뢰성을 확보하려는 노력을 담고 있다. 법의 적용 범위와 방식을 두고 갑론을박이 진행 중이지만, 인간과 기계의 상호작용을 연구하는 필자로서는 “신뢰할 만한 AI란 무엇인가”를 묻게 된다. 이에 답하려면 우선 “신뢰란 무엇인가”를 고민해야 할 터다.

첫째, 신뢰는 다차원적인 개념이다. 정보원의 공신력(credibility)은 소통의 효과를 좌우하는 중요한 변수로, 대개 유능함, 정직성, 선의를 아우르는 것으로 이해된다. 환자는 메스를 쥔 의사가 한 치의 오차 없이 환부를 도려낼 수 있다고 믿기 때문에 수술대에 눕고, 불안한 학부모는 학원 선생님이 시험에 나올 만한 문제를 아이 머릿속에 쏙쏙 집어넣을 수 있다고 믿기에 거금을 지불한다.

하지만 능력이 출중하다고 다 신뢰할 수 있는 건 아니다. 사기범들은 무능해서가 아니라 정직하지 않기 때문에 문제가 된다. 자신이 아는 것을 다 밝히지 않거나 적극적으로 사실을 왜곡하는 사람은 신뢰하기 어렵다. 지극히 유능하고 정직하더라도, 내가 잘되길 바라지 않는 사람도 딱히 신뢰의 대상은 아니다. 과거 대통령에게 불리한 진술을 한 쌍방울 회장의 변호인단에 참여했던 인사를 더불어민주당이 2차 종합특검 후보로 추천하자, 친명계에선 “모르고 그랬다면 무능한 것이고 알고 그랬다면 배신이자 반역”이라는 평이 나왔다. 어느 쪽이든 신뢰할 수 없긴 매한가지다.

AI의 신뢰성을 논할 때 빠지지 않는 환각(할루시네이션) 현상은 생성형 AI가 사실과 다르거나 근거 없는 답변을 자신 있게 제시하는 경우를 말한다. 실은 잘 모르면서(무능) 아는 척한다(기만)는 점에서 유능함과 정직성을 둘 다 놓친 사례다. 달리 말하면 옳은 답변을 제공하는 정확성, 자신의 답이 얼마나 정확한지 아는 메타인지, 모르면 모른다고 솔직히 고백하는 투명성이 신뢰할 만한 AI의 기본 요건이다.

둘째, 신뢰는 주관적이다. 제 눈에 안경이라고 하듯, 동일한 대상을 두고 신뢰성 판단에 차이를 보이는 이유는 평가 과정에 부지불식간 인간의 편향이 작동하기 때문이다. 최근 한국행정연구원의 조사 결과 ‘중앙정부가 복잡한 사회문제를 해결할 능력이 있다고 생각하는지’ 물었을 때 공무원 응답자의 65.9%가 ‘매우 그렇다’ 또는 ‘그런 편이다’를 선택한 반면, 일반인 응답자의 46.5%만이 긍정 평가를 했다. 또한 ‘중앙정부가 국민 전체의 이익을 우선시한다고 생각하는지’에 대해서도 공무원의 58.3%가 긍정적인 답변을 했으나 일반 국민은 33.9%만이 같은 시각을 보였다.

따라서 대학수학능력시험 국어시험에서 몇 등급을 받았는지, 의사 이미지를 요청했을 때 여성을 보여주는 경우가 몇 %인지 등의 객관적 성능 지표에만 의존해서는 AI 시스템에 대한 이용자들의 신뢰를 제대로 파악하기 어렵다. 사람들이 어떤 기대를 가지고 AI를 이용하는지, 언제 어떤 이유로 이용을 중단하는지, 이용에 따른 예기치 않은 부작용은 무엇인지 등을 실제 이용 맥락에서 면밀히 평가해야 한다.

마지막으로 신뢰는 분별을 요한다. 마치 로맨스 스캠에 속아 넘어가듯, 아첨꾼 AI에 혹해 잘못된 판단을 내리거나 해로운 행동을 하는 사례들은 인간이 얼마나 칭찬에 취약한가를 보여준다. 따라서 AI의 사회적 수용성을 높이는 것 자체를 정책 목표로 삼을 것이 아니라, 신뢰할 만한 기술을 개발함과 동시에 이를 분별하는 이용자의 역량 강화가 시급하다. 여기에는 물론 우리 자신의 한계와 편향을 경계하는 것이 포함된다.

결국 신뢰할 만한 AI란 이용자를 설득해 믿게 만들고 과도한 확신을 유발하는 시스템이 아니라, 이용자가 합리적으로 판단하고 필요할 때 의심하도록 설계된 시스템이다. 이재명 정부 국정과제에 ‘세계에서 AI를 가장 많이 쓰는 나라’가 아닌 ‘AI를 가장 잘 쓰는 나라’를 명시한 것도 이런 이유가 아닐까.