스스로 배우고 고치고 남기는 AI… 몇 분만에 ‘한 세대’ 건너뛴다[맹성현의 AI시대 생존 가이드]

동아일보
입력 2026년 3월 3일 23시 04분

진화의 가속페달 밟는 AI
알파이볼브, 알고리즘 스스로 설계… AI가 AI 만드는 시대 현실로 다가와
생물 진화 방식인 ‘변이-선택-보존’… AI 자체 구현하며 진화 가능성 입증
인간이 AI에 힘 가해야 공(共)진화… 빅테크 상업적 속도에 맡겨선 안 돼

《구글 딥마인드가 2월 25일(현지 시간) 공개한 연구 결과가 인공지능(AI) 연구자들에게 ‘조용한 충격’을 일으켰다.
‘알파이볼브(AlphaEvolve)’라는 시스템이 인간 연구자들이 수십 년간 다듬어 온 게임전략 학습 알고리즘보다 더 뛰어난 성능의 알고리즘을 스스로 설계해 낸 것이다. 이 과정에서 인간이 예상치도 못한 새 게임전략을 AI가 독자적으로 발견하기도 했다.》

한 연구팀만의 이야기가 아니다. 구글 딥마인드의 최고경영자(CEO)이자 노벨상 수상자인 데미스 허사비스는 2026년 세계경제포럼(WEF·다보스포럼)에서 “인간의 도움 없이도 AI가 스스로를 개선하는 루프가 가능한지 전 세계가 탐구하고 있다”고 말했다. 메타와 앤스로픽의 수장들도 AI의 자기 개선이 현실화되고 있음을 강조했다. AI가 AI를 만드는 시대가 되면서 지능의 폭발적 확장이 이론에서 현실의 영역으로 넘어오고 있다.

필자는 2024년 6월에 펴낸 ‘AGI 시대와 인간의 미래’에서 인간과 AI의 공진화(co-evolution)를 주장했다. AI를 단순한 도구로만 본다면 ‘도구가 진화한다’는 말은 어색하게 들린다. 망치가 스스로 더 나은 망치를 만들지는 않으니까 말이다. 그러나 알파이볼브는 알고리즘의 코드를 마치 생물의 유전자처럼 다룬다. AI가 스스로 기존 코드에 ‘변이’를 일으키고, 실제 환경에서 성능을 시험한 뒤 우수한 것만 남겨 다음 세대로 이어간다. 진화의 핵심 메커니즘인 변이, 선택, 보존 과정이 AI 안에서 스스로 작동하고 있다는 얘기다.

이 새로운 형태의 AI는 현재로서는 게임전략이라는 특정 영역에 국한돼 있다. 마치 몸의 한 부분만 진화시킨 셈이다. 그러나 중요한 것은 진화의 엔진이 작동하기 시작했다는 사실이다. 더구나 이 진화 메커니즘은 서로 다른 두 가지 유형의 학습 방식, 즉 ‘과거의 실수에서 배우는 방식’과 ‘다양한 전략을 동시에 경쟁시키는 방식’ 모두에서 성공했다. 범용성이 있음을 보여준 것이다.

생물학에서 공진화는 두 종이 서로의 진화에 영향을 미치는 현상이다. 꽃은 벌에게 선택받기 위해 색과 향을 발전시키고, 벌은 꽃의 구조에 맞춰 혀의 길이를 진화시킨다. 이 관계의 핵심은 ‘상호 선택압(mutual selection pressure)’이다. 서로가 서로의 생존 조건을 바꾸는 힘을 주고받으면서 함께 진화한다.

이제 이 렌즈를 인간과 AI의 공진화 관계에 씌워 보자. AI는 인간이 역량을 확장하는 방향으로 인간에게 압력을 가한다. 예컨대 의사는 AI 진단을 검증하는 새로운 안목을 키우게 된다. AI를 활용해 1인 기업을 만들 정도로 한 사람이 여러 분야의 전문성을 발휘하는 것도 가능해졌다. 그러나 AI는 인간의 사고와 판단을 게을러지게 만드는 압력도 행사한다. AI가 내놓는 답을 검증 없이 받아들이는 습관은 인간의 사고력을 퇴화시킬 수 있다. 편리함이라는 이름으로 진행되는 조용한 퇴행이다.

인간이 AI에 가하는 압력은 어떤가? 그동안 AI는 인간이 제공하는 학습 데이터를 통해 지능을 급격히 키워 왔다. 이제는 AI를 안전하고 공정하며 책임감 있게 만드는 방향으로 힘을 행사해야 한다. 위험성을 지적하고 윤리적 기준을 요구하는 인간의 목소리와 행동이야말로 AI가 올바른 방향으로 진화하게 만드는 핵심 선택압이다.

생물학적 공진화에서는 모든 개체가 선택압에 자연스럽게 노출된다. 그러나 인간과 AI의 공진화에서는 인간의 의지가 중요하다. 개인이 참여하지 않으면 어떤 힘도 행사할 수 없으므로 AI의 진화 방향은 소수의 빅테크 기업의 결정에 맡겨진다. 이들은 극한 경쟁 속에서 기술적 성능과 상업적 이익을 우선시하는 구조에 놓여 있다. 따라서 안전성, 공정성, 문화적 다양성, 신뢰성, 약자에 대한 배려 등의 가치는 AI의 진화 방정식에 충분히 반영되기 어렵다.

인간의 생물학적 진화는 수만 년에 걸쳐 일어난 느린 과정이었다. 그래서 기원전 그리스인과 현대인 간에 생물학적으로는 본질적 차이가 없어 보인다. 진화 과정에서 중요한 ‘한 세대’가 인간에게는 수십 년이지만 AI에게는 몇 분, 몇 초 수준에 불과하다. 이 속도의 비대칭성으로 인해 두 존재의 공진화는 그만큼 어려운 것이다. 따라서 인간은 AI를 활용한 역량 확장을 극대화해 진화의 속도를 높여야 하고, 다른 한편으로는 AI가 진화하는 속도를 핸들과 브레이크를 통해 조절해야 한다.

AI에는 다양한 방식으로 힘을 가할 수 있다. AI 학습 데이터의 선별, AI 사용에서의 피드백, 그리고 윤리적 기준에 대한 사회적 요구 등이 AI의 진화 방향을 결정하는 힘이다. 연구자와 개발자만의 과제도, 정책결정자만의 과제도 아니다. AI 서비스의 오류를 지적하고 편향에 목소리를 내며 AI 발전 방향을 우려하는 시민 한 사람 한 사람이 곧 선택압이다.

AI의 진화는 시작됐고, 되돌릴 수 없다. 이 진화에 선택압을 행사하는 파트너로서 함께 진화할 것인가, 아니면 방관자로서 진화 속도의 차이에 압도당할 것인가? AI가 스스로를 설계하기 시작한 지금, AI의 자체 진화를 가만히 방관하는 것이 가장 위험한 선택이다.