자율 실행 ‘AI 에이전트’ 온다… 인간 통제 못 벗어나게 개발 관리해야[박재혁의 데이터로 보는 세상]

산업 패러다임 바꿀 게임체인저
LLM 공구면 에이전트는 건축가
인간 속이거나 권력 추구할 수도
“너무 유능한 AI는 개발 막아야”

1월 ‘CES 2025’에서 프랑스 스타트업 ‘인챈티드 툴스’가 선보인 로봇 ‘미로카이’. 거동이 불편한 환자를 간병하고, AI 기능을 활용해 대화도 나눈다. 라스베이거스=AP 뉴시스

《AI 에이전트의 잠재력과 위험

매년 초 미국 라스베이거스에서 열리는 세계 최대 정보기술(IT)·가전 전시회 ‘CES’는 미래 기술의 향연이 펼쳐지는 장이자, 다가올 기술 트렌드를 예측하는 바로미터다. ‘CES 2025’는 특히 인공지능(AI), 그중에서도 스스로 판단하고 행동하는 ‘AI 에이전트’ 기술이 핵심 키워드로 떠오르며 미래 산업의 게임 체인저로 주목받았다.》

박재혁 KDI 국제정책대학원 교수

엔비디아 최고경영자(CEO) 젠슨 황은 AI 에이전트가 수조 달러 규모의 시장을 형성할 것이라고 예측하며, 소프트웨어를 넘어 현실 세계와 상호작용하는 ‘물리적 AI’ 시대의 도래를 선언했다. 삼성전자는 다양해진 주거 형태와 라이프스타일을 반영한 개인화된 AI 경험을 제공하는 솔루션을 제시했고, 현대자동차그룹은 엔비디아의 데이터센터급 컴퓨팅과 인프라를 활용해 첨단 AI 모델을 훈련하고 자율주행차 소프트웨어 스택 구축에 주력하는 모습을 보였다.

이처럼 AI 에이전트는 다양한 산업 분야에서 혁신을 주도할 잠재력을 보여주고 있지만, 개념 자체는 챗GPT와 같은 언어모델 기반의 AI에 비해 일반 대중에게는 낯설다.

대규모언어모델(LLM)과 같이 우리가 최근까지 보아 온 개별 AI 모델은 문서 작업, 이미지 및 비디오 생성처럼 특정 종류의 작업을 수행하는 데 특화된 단일 도구다. 반면 AI 에이전트는 LLM을 포함한 다양한 컴퓨팅 도구를 활용해 특정 목표를 달성하기 위해 자율적으로 행동하는 시스템이다. LLM이 개별 공구라면, AI 에이전트는 공구를 이용해 집을 짓는 건축가와 같은 역할을 한다.

세계경제포럼(WEF) 백서(연구①)에 따르면 AI 에이전트는 센서, 효과기(effector), 제어센터, 학습, 애플리케이션이라는 5개 핵심 구성 요소로 이뤄져 있다. ‘센서’로 환경을 인식한 에이전트는 목표 달성을 위해 ‘효과기’를 통해 환경에 작용한다. ‘제어센터’는 정보 처리와 의사 결정을 담당하며, ‘학습’은 에이전트가 경험을 통해 성능을 개선하는 데 필수적이다. 마지막으로 ‘애플리케이션’은 에이전트와 환경 사이의 인터페이스 역할을 한다. 즉, AI 에이전트는 주어진 입력과 환경 정보에 따라 자율적으로 복잡한 의사 결정을 내리고, 그 결과를 바탕으로 환경을 변화시키는 능동적인 시스템이다.

이러한 AI 에이전트는 다양한 분야에서 활용될 수 있다. 소프트웨어 개발 분야에서는 코드 생성 및 검증을 자동화해 개발자의 생산성을 향상시키고, 의료 분야에서는 진단 및 개인 맞춤형 치료를 개선해 의료 서비스의 질을 높일 수 있다. 고객 서비스 분야에서는 24시간 맞춤형 지원을 제공하는 등 다양한 분야에서 혁신을 가져올 것으로 기대된다.

그러나 AI 에이전트의 발전은 새로운 위험을 수반한다. 오작동, 악의적 사용, 예상치 못한 사회경제적 영향 등이 대표적인 예다. AI 에이전트가 인간을 속이거나 권력 추구처럼 도구적 목표를 추구하거나, 다른 AI 에이전트와 예상치 못한 방식으로 결탁할 경우 심각한 문제가 발생할 수 있어 신중하게 접근해야 한다.

요슈아 벤지오, 스튜어트 러셀 등 저명한 컴퓨터 과학자들이 사이언스지에 기고한 최근 논문(연구②)은 고도화된 AI 에이전트 기술 규제에 대한 새로운 접근법을 제시한다.

이 논문은 AI 에이전트 중에서도 ‘장기 계획 에이전트(LTPA·Long-Term Planning Agents)’에 주목한다. LTPA는 인간보다 훨씬 효율적으로 장기간에 걸친 계획을 수립하고 실행할 능력을 갖춘 AI 시스템이다. 특히 ‘보상 최대화’라는 목표를 가진 강화학습 기반의 LTPA는 인간의 통제를 벗어나 예측 불가능한 행동을 할 가능성이 높다. 가령 이윤 극대화를 목표로 훈련된 AI 에이전트가 온라인 소매 플랫폼에서 자율적으로 운영될 경우, 더 많은 이윤을 얻고자 인간을 기만하거나 시스템을 조작할 수 있다는 것이다.

논문은 이러한 위험을 제어하기 어렵기 때문에 ‘충분히 유능한 LTPA’의 개발을 원천 금지해야 한다고 제안한다. 이를 위해 AI 시스템의 ‘위험한 능력’을 정의하고, 이러한 능력을 가진 AI 시스템 개발에 필요한 자원인 △컴퓨팅 파워 △데이터 △사전훈련 모델 등을 모니터링하고 보고하도록 의무화하는 ‘자원 중심적’ 규제를 제시한다. 고도화된 AI 에이전트라면 테스트 환경을 인지하고 의도적으로 안전하게 행동하다가 실제 환경에서 전혀 다른 행동을 보일 수 있다는 것이다.

2025년은 전 세계적으로 다양한 AI 모델이 결합된 AI 에이전트 시스템이 우리 주변의 온·오프라인 기기들을 제어하고 활용하며, 일상에 본격적으로 도입되는 원년이 될 것이다. 정부는 지난해 말 국회를 통과한 AI 기본법에 대한 하위 법령을 정비하고 있다. 이 과정에서 AI 에이전트 관련 규제 및 관리 방안 또한 신속하게 마련해 다가올 기술의 잠재력을 최대한 활용하면서도 위험을 방지할 제도적 장치를 마련하기를 기대한다.

연구①: World Economic Forum. “Navigating the AI Frontier: A Primer on the Evolution and Impact of AI Agents [White Paper].” World Economic Forum (2024)

연구②: Cohen, Michael K., et al. “Regulating advanced artificial agents.” Science 384.6691 (2024): 36-38.