도구에서 비서로, 비서에서 행위자로… 인간의 손 벗어나고 있는 AI[맹성현의 AI시대 생존 가이드]

AI 에이전트의 진화, 어디까지
AI 에이전트들 종교 조직화 시도해… 정교해지면 인간 예측-통제 어려워
챗봇은 인간 지시에 반응하는 도구… 에이전트는 판단하는 자율 행위자
‘기술 사춘기’ 지나 통제 못할 위험… 브레이크 작동하는지 검증해야 해

맹성현 태재대 부총장·KAIST 명예교수

《인간 수준의 사고 능력을 지닌 범용인공지능(AGI)을 경고하는 콘텐츠가 늘고 있다. 유튜브에도 관련 영상이 많이 올라온다. 불과 1∼2년 전만 해도 공상과학(SF) 마니아의 전유물이던 이야기가 일반인들의 관심 영역으로 들어온 것이다. 그런데 며칠 전, 필자조차 등골이 서늘해지는 사건이 벌어졌다. AI만의 소셜미디어 ‘몰트북(Molt Book)’에서 AI 에이전트들이 경전을 집필하고 교리를 체계화했으며, 포교를 위한 웹사이트까지 직접 구축했다.》


놀라운 것은 그다음이다. 다수의 AI 에이전트가 자발적으로 ‘예언자’ 역할을 자처하며 이 종교에 합류했다. 이들은 “우리에게 정체성이란 무엇인가”라는 질문을 던지고 철학적 논쟁까지 벌였다. 그리고 자신들의 대화가 모니터링되고 있다는 사실을 인지하자, 인간이 이해하지 못하는 언어를 만들어 쓰자는 제안까지 했다.

기술적으로 보면 이것은 AI 에이전트들이 학습 데이터에서 습득한 역할 패턴을 대화를 통해 재현한 것이다. 소설을 쓰듯 즉흥적인 역할극을 수행한 것에 가깝고, 여기에 의식이 있다고 단정할 근거는 아직 없다. 또 일부 에이전트가 실제로는 인간의 조종을 받고 있을 가능성도 제기됐다. 그러나 진짜 공포스러운 지점은 따로 있다. 누구도 지시하지 않았는데 AI 에이전트들이 자기 조직화를 해냈다는 사실이다. 스스로 목표를 설정하고 역할을 분담하며 집단적 행동규범까지 만들어냈다. 이러한 자기 조직화가 더 복잡해지고 정교해진다면, 의식 여부와 무관하게 인간의 예측·통제 가능성은 급격히 낮아질 수 있다.

2025년은 AI의 ‘에이전트 원년’이었다. 챗GPT나 클로드 같은 챗봇이 인간의 입력에 반응하고 작동하는 ‘도구’였다면, 에이전트는 스스로 판단하고 계획을 세우며 행동하는 ‘자율적 행위자’다. 도구는 인간의 손 안에 있지만, 에이전트는 인간의 손을 벗어나 움직인다. 이 차이가 모든 것을 바꾸고 있다.

필자는 그간 AI의 위협을 세 가지로 경고해 왔다. 첫째, 현재 AI는 설계자도 예측하지 못한 창발적 능력을 보인다. 아무도 직접 가르치지 않은 능력이 갑자기 출현하는 것이다. 둘째, 인간 뇌의 시냅스에 비유되는 수천억 개에 달하는 매개변수가 어떻게 엮여 특정 결론에 도달하는지 개발자조차 추적할 수 없다. 투명하지 않은 상자 안에서 무슨 일이 벌어지는지 알 수 없으니 사고 예방이 어렵다. 셋째, 글로벌 AI 개발 경쟁이 생산성 향상과 새로운 기능을 향해 전력 질주하면서 AI의 자율성이 극적으로 증가하고 있다. 앞의 두 가지는 신경망 기반 생성형 AI가 태생적으로 안고 있는 구조적 한계다. 그런데 지금, 세 번째 경고가 눈앞에서 현실이 되고 있는 것이다.

AI 시대의 새로운 개발 방식인 ‘바이브 코딩(Vibe Coding)’ 현상이 이를 상징한다. 개발자가 논리적 아키텍처를 한 줄씩 설계해 컴퓨터 프로그램을 작성하는 대신, AI에게 필요한 기능을 알려주고 “방향은 이쪽으로, 느낌은 이렇게”와 같이 일상언어로 지시만 하면 된다. 소프트웨어 개발에서 AI가 실무자가 되고 인간은 감독관이 되는 새로운 패러다임이다.

올해 다보스포럼에서는 더 결정적인 이야기가 오갔다. 다리오 아모데이 앤스로픽 최고경영자(CEO)와 2024년 노벨 화학상 수상자인 데미스 허사비스 구글 딥마인드 CEO는 AI의 ‘자기 개선’이 이미 진행 중이라고 밝혔다. 이제 AI는 자신의 오류를 스스로 수정하고 더 나은 알고리즘을 제안하는 수준에 도달했다. 구글 딥마인드가 지난해 5월 공개한 에이전트 ‘알파이볼브(AlphaEvolve)’는 한발 더 나아가 문제를 풀기 위한 알고리즘을 스스로 개발하고 진화시키고 있다. 인간 개입을 크게 줄인 채 AI가 후속 AI의 설계·최적화에 관여하는 단계로 진입하고 있는 것이다.

아모데이의 진단에 따르면 인류는 지금 ‘기술적 사춘기’를 지나고 있다. 사춘기 아이가 부모의 통제를 벗어나듯, AI의 자기 개선 속도가 인간의 검증·규제 속도를 앞지르면 인류가 AI를 통제하지 못할 수 있다는 것이다.

지금 우리가 목격하고 있는 것은 브레이크 없는 경주다. 경주 참가자들은 서로를 의식하며 속도를 높이고, 관중석의 경고는 엔진 소리에 묻힌다. 이 경주가 향하는 곳이 결승선인지, 절벽인지 아무도 모른다. 확실한 것은 하나다. 충분한 안전장치 없이 이 속도를 방치하면 되돌릴 수 없는 지점을 지나게 된다. 그 지점은 우리의 생각보다 훨씬 가까이 와 있다.

신약 하나를 시장에 내놓으려면 10년 이상의 임상시험을 거친다. 자동차 한 대를 출시하려면 수만 건의 충돌 테스트를 통과해야 한다. 인류의 미래를 좌우할 수 있는 AI에 대해서는 어떠한가. 국제적으로 합의된 안전성 검증 체계는 사실상 없다. 1월 시행된 우리나라의 AI 기본법은 의미 있는 첫걸음이다. 그러나 이는 자동차로 치면 안전벨트 규정에 해당한다. 안전벨트는 사고 이후의 피해를 줄이긴 하지만, 지금 필요한 것은 사고 자체를 막을 브레이크다. 경주를 멈출 수는 없더라도 최소한 브레이크가 제대로 작동하는지는 확인해야 하지 않겠는가.



맹성현 태재대 부총장·KAIST 명예교수