과자봉지를 ‘총기’로 오인한 AI…16세 학생에게 수갑 채웠다

미국 볼티모어에서 과자 봉지 ‘도리토스’를 들고 있던 소년이 AI 총기 감지 시스템에 의해 경찰에 신고돼 체포된 사건이 발생했다. 왼쪽은 소년이 들고 있던 과자봉지와 같은 과자. 오른쪽은 옴니알러트 측이 제공한 총기 인식 AI 시스템의 모습. (출처=인스타그램 @doritos, omnilert)

미국에서 AI가 과자 봉지를 총기로 오인해 경찰이 출동하는 사건이 발생했다. 이 같은 ‘총기 감지 AI’는 미국 내 학교를 중심으로 빠르게 도입되고 있지만, 실제 탐지 능력에 대한 우려가 꾸준히 제기돼 왔다.

25일(현지 시각) BBC 등 외신에 따르면, 미국 볼티모어의 16세 고등학생 타키 앨런(Taki Allen)은 AI 시스템에 의해 ‘총기 소지 의심자’로 분류돼 경찰에 체포됐다. 그러나 확인 결과, AI가 총으로 인식한 물체는 나초 과자 ‘도리토스(Doritos)’ 봉지였다.

● 사람이 직접 검토했지만…”몇 초만에 경찰 신고”

총기 감지 AI를 테스트하는 옴니알러트(Omnilert)의 시스템. (출처=Omnilert 제공)

당시 학교에 설치된 ‘총기 탐지 AI’ 시스템은 앨런의 행동을 실시간으로 감지하고, 그가 들고 있던 과자 봉지를 총기로 판단해 경보를 울렸다. 안전요원이 즉시 경찰에 신고했고, 곧 무장 경찰이 출동했다.

AI 검토팀이 “총기가 아니다”라고 정정했지만, 이미 경보는 전송된 뒤였다. 앨런은 “축구 연습 후 과자를 먹고 주머니에 넣었을 뿐인데, 20분 뒤 경찰이 와서 무릎을 꿇으라고 명령했다”며 “이후에는 밖에서 과자나 음료를 먹는 것도 무섭다”고 말했다.

경찰은 메뉴얼대로 했다는 입장이다. 현지 경찰은 “당시 전달받은 정보에 따라 적절하게 대응했다”며 “위협이 없다는 사실을 확인한 뒤 사건을 안전하게 종결했다”고 밝혔다.

● AI 개발사 “의도대로 작동했다” 주장

이해를 돕기 위한 사진. (출처=뉴시스)

AI 시스템을 개발한 ‘옴니얼러트(Omnilert)’ 측은 “시스템은 설계된 대로 작동했다”고 주장했다. 옴니얼러트 관계자는 “시스템이 총기로 보이는 물체를 감지했고, 이후 검토팀이 이미지를 확인해 전달했다. 이후 판단은 학교의 몫”이라 말했다. 그러면서 “결국 물체는 총이 아니었지만, 신속한 인간 검증 절차는 의도대로 작동했다”고 강조했다.

반면 피해자인 앨런은 “과자 봉지가 총으로 보일 이유는 전혀 없다”며 AI가 완전히 오작동했다고 반박했다. 지역 정치권에서도 비판이 나왔다. 볼티모어 시의회 이지 파코타(Izzy Pakota) 의원은 “AI 기반 무기 탐지 시스템과 관련한 공립학교의 대응 절차를 전면 재검토해야 한다”고 밝혔다.

● ‘위험 감지 AI’ 과장 광고에…“허위 광고 금지” 조치

AI 무기 탐지 기술의 정확도를 둘러싼 논란은 이번이 처음이 아니다. 지난해 미국의 보안 기술 업체 ‘이볼브 테크놀로지(Evolv Technology)’는 “모든 무기를 탐지할 수 있다”고 홍보하며 수천 개 학교·병원·경기장에 시스템을 납품했지만, 실제로는 총기와 폭발물을 탐지하지 못한 사례가 다수 보고됐다.

특히 칼의 경우 약 42%가 탐지되지 않은 것으로 드러났다. 이에 미국 연방거래위원회(FTC)는 해당 업체에 경고를 내리고 허위·과장 광고 시정을 요구했다.

● 한국도 예외 아니다…“고위험 AI 될 수도”

24일 오전 10시 한국전자통신연구원(ETRI)에서 열린 국회 과학기술정보방송통신위원회 국정감사장에서 한국과학기술원(KAIST)의 사족보행로봇이 증인선서문을 옮기고 있다. (출처=뉴스1)

AI 감시·탐지 기술을 둘러싼 논의는 한국에서도 이어지고 있다. 24일 열린 국정감사에서 한국전자통신연구원(ETRI)은 윤석열 정부 당시 대통령경호처와 과학기술정보통신부가 ‘AI 기반 전 영역 경비·안전 기술 개발’ 사업을 진행했다고 밝혔다. 이에 대해 구혁채 과기정통부 제1차관은 “해당 연구 결과물이 ‘고위험 AI’로 분류될 가능성이 있다”고 인정했다.

한편 유럽연합(EU) 의회는 최근 통과된 ‘인공지능법(AI Act)’을 통해 생체 인식 및 얼굴 인식 기반 데이터베이스 구축을 전면 금지했다.