英 생성형 AI 돌봄 서비스 접목 부작용 우려…“예방 지침 필요”

영국에서 생성형 인공지능(AI)을 돌봄 서비스나 의료 분야에 사용할 경우 서비스 대상자에게 미칠 수 있는 직접적인 부작용에 대한 우려와 명확한 지침이 필요하다는 주장이 제기됐다.

무엇보다 제대로 된 규제 장치가 아직 마련되지 않은 점이 가장 큰 문제로 지적됐다.

10일(현지시간) 가디언에 따르면 영국의 일부 의료 서비스 제공업체가 오픈AI가 만든 챗지피티(ChatGPT)나 구글의 바드(Bard)를 포함한 생성형 AI 챗봇을 사용해 환자들의 치료 계획을 세워온 것으로 나타났다.

하지만 옥스퍼드 인공지능(AI) 윤리 연구소의 캐롤라인 그린 박사는 이 같은 계획이 환자 개인정보 보호에 잠재적인 위험을 초래할 수 있다고 지적한다.

그린 박사는 “생성형 AI 챗봇에 개인 데이터를 어떤 유형으로 입력하던 간에 해당 데이터는 인공지능의 언어 모델을 학습하는 데 사용된다”며 “그 개인 데이터는 (다시)생성돼 다른 사람에게 공개될 수 있다”고 말했다.

그는 간병인이 AI가 제시한 편향되거나 잘못된 정보를 토대로 행동해 환자에게 의도치 않게 해를 끼치는 부작용이 발생할 수 있다고 우려했다.

또한 AI가 생성한 간병 계획이 표준 이하일 수도 있다는 점을 짚었다.

특히 AI가 의료 서비스 분야에 기여할 수 있는 잠재적인 이점도 있지만 현재로서는 예상되는 부작용을 간과할 수 없다고 강조한다.

그린 박사는 “(AI의 잠재적 이점은) 관리 업무의 과중함을 덜어주고 사람들의 치료 계획을 더 자주 재검토할 수 있도록 도와주는 것”이라면서 “지금으로서는 누구에게도 권하고 싶지는 않지만 관련 서비스를 위해 앱과 웹사이트를 만드는 조직이 있다”고 설명했다.

대규모 언어모델(LLM)에 기반한 AI 기술은 이미 영국 보건 분야와 의료기관에서 지난 수년간 사용해왔다.

페인체크(Paincheck)는 인공지능으로 학습된 안면 인식 기술을 사용해 말을 할 수 없는 상황에 처한 환자의 미세한 근육 경련을 감지해 통증이 있는지 여부를 식별하는 애플리케이션이다.

NHS에서 사용하는 시스템 옥세비전(Oxevision)은 격리실에 분리된 중증 치매 환자나 정신과 치료가 필요한 환자들을 적외선 카메라로 모니터링 하면서 낙상 위험 여부나 수면량 등을 체크한다.

또한 24시간 돌봐 주는 간병인이 없는 사람들에게 시간에 맞춰 약을 복용하도록 상기시켜주고 멀리 떨어진 가족이나 친척이 돌봄이 필요한 환자를 확인할 수 있도록 아마존 알렉사 스피커를 사용하는 케어 모니터링 시스템 센타이(Sentai)가 있다.

옥스퍼드 대학교 인공지능 윤리 연구소가 지난달 발표한 자료에 따르면 현재 영국에서는 약 160만명이 돌봄 서비스 분야 종사자로 일하고 있다. 영국 전역으로 보면 약 570만명에 달하는 사람들이 가족이나 친척, 친구, 이웃을 무급으로 돌보고 있다.

연구소는 생성형 AI 기술을 요양원이나 장애인 복지시설에 접목한 실제 사례를 많이 가지고 있지만 편향된 정보를 재생산하거나 안전하지 못한 정보를 출력하는 한계가 내재돼 있다고 우려했다.

또한 지난달 돌봄 서비스 분야 30개 기관 대표와 해당 분야 관계자들과 만나 논의하는 자리에서 부적절하거나 무책임한 AI 사용으로 인한 위험성이 제기됐다고 언급했다.

연구소는 성명서를 내고 “AI 기술이 돌봄 서비스 분야에 사용될 때 신중한 감독과 투명성이 없다면 사람들의 인권과 개인정보 보호, 데이터 보안, 평등, 선택과 통제, 돌봄 서비스 질과 같은 핵심적인 문제에 직접적인 영향을 미칠 수 있다”고 강조했다.

또한 “생성형 AI가 돌봄 서비스 분야에 종사하는 사람들에게 가져올 수 있는 이점을 고려해서라도 이 같은 위험을 지금 즉시 부각시키고 해결해야 한다”고 했다.

연구소와 옥스퍼드대 루벤 칼리지, 디지털 케어 허브, 캐슨 컨설팅 등은 생성형 AI의 책임 있는 사용을 정의하고 가이드 라인을 제작하는 과정에는 돌봄 대상자, 가족, 전문 간병인, 돌봄 서비스 제공 주체, 정책 입안자, 규제기관, 지방당국 등 돌봄 서비스에 관여하는 모든 그룹이 참여해야 한다고 촉구했다.

이들은 앞으로 6개월에 걸쳐 사회 복지 분야에서 AI의 책임 있는 사용을 지원하기 위해 공동으로 생산한 공유 프레임워크(체계)를 시급히 개발하기로 했다. 또한 AI 기술 사용에 대한 역량 강화 계획, 기존 사용 사례를 바탕으로 한 로드맵, 정부와 규제 기관의 입장을 명확히 정리하는 개요서를 제작할 예정이다.

그린 박사는 “우리는 생성형 AI의 책임 있는 사용과 사회적 돌봄 서비스가 실제로 무엇을 의미하는지 정의하고 영국 보건복지부가 시행할 수 있는 지침을 제시할 수 있길 원한다”고 말했다.

(런던=뉴스1)