“AI가 개인정보 유출… 또다른 통로될 수도”

독일 연구팀 유출 위험 분석 발표
학습 활용 여부로 질병 정보 특정
저소득층-소수 인종 더 잘 기억해

게티이미지뱅크

개인정보 유출 사고가 잇따르며 데이터 보안 우려가 커지는 가운데 의료 인공지능(AI) 모델 자체가 새로운 개인정보 침해 통로가 될 수 있다는 연구 결과가 나왔다. 공격자는 AI 모델을 분석해 특정 환자의 데이터가 AI 학습에 사용됐는지 알 수 있다. 특히 희귀질환 환자와 소수집단은 이런 공격에 더 취약한 것으로 분석됐다.

다니엘 뤼케르트 독일 뮌헨공과대(TUM) 교수팀은 의료 AI 모델의 개인정보 유출 위험을 분석한 결과를 국제학술지 ‘네이처’에 24일(현지 시간) 발표했다.

연구팀은 ‘멤버십 추론 공격(MIA)’을 분석 대상으로 삼았다. MIA는 학습한 데이터에 더 자신 있는 예측을 내놓는 AI 모델의 특성을 활용한 공격이다. 공격자는 AI 모델의 확신도 차이를 통계적으로 분석해 특정 환자의 데이터가 학습에 포함됐는지 가려낸다. 모델이 내놓는 예측값만 확인하면 실행할 수 있어 정상적인 사용자로 위장한 누구라도 MIA를 비교적 쉽게 시도할 수 있다.

문제는 특정 환자의 데이터가 학습에 쓰였는지 알아내는 것만으로도 개인정보 유출 위험이 있다는 점이다. 예를 들어 암 환자 데이터를 모아 학습시킨 AI 모델이라면 특정인의 데이터가 학습에 쓰였다는 사실만으로 그 사람이 암을 앓고 있다는 정보가 드러나는 식이다.

연구팀은 미국 스탠퍼드대병원, 하버드대 의대 등에서 나온 흉부 엑스레이, 피부질환 이미지, 안과 영상, 유방 촬영, 심전도, 응급실 전자의무기록 등 7개 임상 데이터 집합을 분석에 활용했다. 데이터 집합마다 모델 200개를 만들어 전체 환자 중 무작위로 절반을 뽑아 학습시켰다. 환자 한 명을 기준으로 보면 200개 모델 가운데 절반은 그 환자 자료를 학습했고 나머지 절반은 학습하지 않았다. 연구팀은 두 그룹 모델의 확신도 값을 비교해 환자 개개인의 위험도를 계산했다.

그 결과 데이터 집합 전체 평균으로는 공격 성공률이 무작위 추정과 큰 차이가 없어 위험이 낮아 보였다. 하지만 환자별로 분석하자 일부 환자는 자료가 학습에 쓰였는지를 공격자가 완벽하게 맞혔다.

모델 크기가 커질수록 위험도 커졌다. 피부질환 데이터 집합에서는 모델의 크기를 키우자 공격자가 정확히 맞히는 환자 비율이 1만 명 중 1명에서 10명 중 1명까지 늘었다. 진단 성능과 개인정보 유출 위험이 함께 커진 셈이다.

특히 개인정보 유출 위험은 환자 집단마다 다르게 나타났다. 연구팀은 공격에 가장 취약한 상위 1% 데이터를 뽑아 분석했다. 그 결과 희귀질환 환자, 소수인종, 저소득층 의료보험 대상자가 전체 데이터 내 비중보다 개인정보 유출 위험군에서 훨씬 많이 발견됐다. 응급실 전자의무기록에서는 흑인 환자 데이터가 전체 비중보다 31% 더 많이, 저소득층 공공보험인 메디케이드 가입자 데이터는 126% 더 많이, 암 진단 환자 데이터는 18% 더 많이 위험군에서 발견됐다. 연구팀은 전체 데이터에서 비중이 작은 집단일수록 그 특징을 AI 모델이 뚜렷하게 기억해 개인정보 유출 위험이 커진다고 분석했다.

연구팀은 대응책으로 ‘차분 프라이버시’ 기술을 제시했다. 학습 과정에 무작위 잡음을 더해 전체 진단 패턴을 학습하면서도 개인별 자료의 흔적을 흐리게 만드는 방식이다. 한 환자가 여러 건을 제공한 경우 데이터 단위가 아닌 환자 단위로 보호 기준을 적용해야 효과가 있다고 밝혔다. 연구팀은 “의료 AI 모델을 도입하기 전에 공격자가 알아낼 수 있는 민감 정보부터 점검해야 한다”며 “위험이 큰 모델에는 검증된 보호 기술을 적용하거나 이용 권한을 엄격하게 제한해야 한다”고 덧붙였다.