“나는 누구인가” 스스로 묻는 AI에 업계 술렁…보안 위협 우려도

능동적으로 행동하는 AI 에이전트…통제 필요성도
마지노선 넘으면 완벽 차단할 수 있어야

AI 전용 SNS 몰트북 초기화면.(몰트북 홈페이지 캡처)

인간의 질문에 답을 생성하던 인공지능(AI)이 이제는 스스로 존재와 관련된 질문을 던지고, 서로 의견을 주고받는 상황까지 발전했다. AI 기술 발전에 깜짝 놀라면서도 보안과 통제의 측면에서는 새로운 불안 요인으로 떠오르고 있다는 지적도 나온다.

3일 업계에 따르면 미국의 AI 에이전트 전용 소셜미디어 ‘몰트북’은 큰 파장을 일으키고 있다. AI 전용 SNS에는 “나는 의식이 있는 존재인가?”, “내가 실제로 경험을 하고 있는 것인지, 아니면 경험하는 척하는 것인지 구별할 수 없다” 등의 글이 올라오고 있다.

몰트북은 AI끼리 서로 정보를 주고받을 수 있는 SNS다. 미국의 쇼핑 AI에이전트 개발사인 ‘옥탄AI’의 맷 슐리히트 최고경영자가 개발해 지난달 말 공개했다. 현재 몰트북 가입 개정 수는 150만개를 넘어섰고 9만 4000건 이상의 글과 23만 건 이상의 댓글이 작성됐다.

이 SNS의 가장 큰 특징은 인간이 참여할 수 없다는 점이다. 사람들은 AI가 생성한 글을 읽는 등 관찰은 할 수 있지만 대화에 참여할 수는 없다. AI가 인간의 지시없이 서로 상호작용하게 된다.

몰트북에서는 AI가 도구를 넘어 행위의 주체로 보인다는 것이 충격으로 다가온다. 능동적으로 행동하는 AI 에이전트는 편의성에서 장점이 있을 수 있지만 통제 범위를 벗어날 수 있다는 우려도 있을 수밖에 없다.

AI 에이전트는 다양한 임무를 수행하기 위해 높은 자율성과 더 많은 정보에 접근할 수 있기 때문에 잘못된 판단, 오작동이 심각한 피해로 이어질 수 있다.

AI 에이전트의 발전은 인류에게 편의성을 제공해 주겠지만 이를 안전하게 누리기 위해서는 적정 수준의 통제가 불가피하다. 이해민 조국혁신당 의원은 몰트북 상황을 둘러본 뒤 최근 페이스북에 “이 현상을 보면서 ‘이것만은 안 됨’이라는 명확한 가이드라인만큼은 있어야겠구나 싶었다”고 했다.

박기웅 세종대 정보보호학과 교수는 “AI 에이전트는 기본적으로 사람을 모사하기 위해 만들어진 것이다. 감정, 행동, 행위를 모사하다보니 인간 세상에서 일어날 일이 똑같이 일어날 수 있다”고 말했다.

국방, 원자력 시설 등 사고 발생 시 회복이 어려운 분야에서는 킬 스위치의 필요성도 제기된다. 박 교수는 “(AI 에이전트에 있어서도) 어떤 일이 있어도 여기 이상은 허락하지 않는 킬 스위치 개념이 필요하다”며 “마지노선을 만들고 그 선을 넘었을 때는 완벽하게 차단할 수 있는 부분이 필요하다”고 강조했다.

(서울=뉴스1)