“AI가 만든 가짜 판례”…월가 유명 로펌, 법원에 공식 사과

AI와 법률 시스템의 충돌을 상징한 이미지. 인공지능이 만든 ‘가짜 판례’ 논란으로 법률 문서 신뢰성에 대한 우려가 커지고 있다. 게티이미지뱅크

미국 대형 로펌이 인공지능(AI)이 생성한 허위 판례를 법원에 제출했다가 공식 사과했다. 법률 문서의 핵심인 ‘인용’ 단계에서 오류가 드러나면서, AI 활용에 대한 신뢰 문제가 다시 불거지고 있다.

21일(현지시간) 블룸버그 통신에 따르면 월가의 유명 로펌 설리번 앤 크롬웰(Sullivan & Cromwell)은 뉴욕 남부 파산법원에 제출한 서면에 AI가 생성한 부정확한 인용이 포함된 사실을 인정하고 사과했다.

해당 사건은 캄보디아 기반 기업 프린스 그룹 관련 파산 절차에서 제기된 긴급 신청서에서 발생했다. 로펌 측은 18일 법원에 보낸 서한에서 “해당 신청서에는 AI 환각으로 인한 부정확성과 오류가 포함돼 있었다”며 “문서 작성 과정에서 내부 검증 절차를 따르지 않았다”고 밝혔다.

이어 “이로 인해 법원과 당사자들에게 부담을 준 점에 대해 깊이 유감스럽게 생각하며, 팀을 대표해 사과한다”고 전했다. 로펌 측은 향후 모든 제출 문서의 정확성을 확보하기 위한 조치를 취하겠다고 덧붙였다.

● 대형 로펌서 ‘AI 환각’…왜 문제인가

AI 환각은 실제 존재하지 않는 정보를 사실처럼 만들어내는 현상을 말한다. 법률 문서에서는 존재하지 않는 판례나 잘못된 인용으로 이어질 수 있어 치명적인 오류로 평가된다.

이번 사례는 개인 변호사나 소규모 로펌이 아닌, 글로벌 대형 로펌에서 발생했다는 점에서 주목된다. AI 오류로 인한 법정 문제는 그동안 주로 개인 실무자 중심으로 발생해왔지만, 대형 조직에서도 통제에 실패할 수 있다는 점이 드러났기 때문이다.

관련 사례를 추적하는 데이터에 따르면 미국에서 AI 환각이 확인된 법정 사례는 900건을 넘어섰지만, 파산 법원에서 발생한 사례는 극히 드문 것으로 알려졌다.

● “문제는 AI가 아니라 검증 실패”

전문가들은 이번 사건의 핵심을 기술이 아닌 ‘검증 과정’에서 찾는다. 로펌 측 역시 내부 절차를 지키지 않았다는 점을 인정했다.

실제로 일부 판사들은 AI가 생성한 허위 인용을 제출한 변호사들을 공개적으로 질책한 바 있다. 지난해에는 한 파산법원 판사가 인공지능이 만든 가짜 판례를 제출한 고든 리스 스컬리 만수카니 로펌 소속 전 수석 변호사를 공개적으로 지적했으며, 다만 해당 로펌 자체에 대한 제재로 이어지지는 않았다. 법률 문서의 신뢰성 자체가 흔들릴 수 있다는 우려가 커지는 배경이다.

AI 활용이 빠르게 확산되면서 법조계에서는 생산성 향상과 함께 위험 관리의 중요성이 동시에 커지고 있다. 특히 판례 인용과 같은 핵심 작업에서 인간의 검증이 생략될 경우, 결과에 대한 책임 역시 피하기 어렵다는 지적이 나온다.

결국 이번 사건은 AI가 만들어낸 오류 자체보다, 이를 걸러내지 못한 내부 통제 시스템의 문제를 드러낸 사례에 가깝다. 기술 도입 속도가 빨라질수록, 이를 통제할 기준과 책임 구조가 더 중요해지고 있다는 점을 보여준다.