수학계 80년 난제 풀어낸 AI, 생각의 ‘차원’이 달랐다

이번 증명에 참여한 오픈AI 연구진들. 제일 왼쪽이 세바스티앙 부벡. 엑스 갈무

종이 위에 점을 찍는 게임을 상상해 보자.

규칙은 딱 하나, 점과 점 사이의 거리가 정확히 ‘1cm’가 되는 쌍을 최대한 많이 만드는 것이다.

점 2개가 있다면 두 점 사이에 선을 그어 한 쌍을 만들 수 있다. 점이 3개라면 세 변의 길이가 모두 1cm인 정삼각형을 만들 수 있어 총 3개의 쌍이 나온다. 점 4개일 때는 마름모 모양을 만들면 총 5개의 쌍을 완성할 수 있다.

그렇다면 점을 1만 개, 혹은 1억 개로 늘린다면 총 몇 개의 쌍을 만들 수 있을까?

이 단순해 보이는 질문이 바로 1946년 헝가리의 천재 수학자 고(故) 폴 에르되시가 제기한 기하학의 유서 깊은 난제, ‘단위 거리 추측(Unit Distance Conjecture)’이다.

지난 80년간 세계 최고의 수학자들이 이 수수께끼를 풀기 위해 도전했으나 번번이 실패했다. 그러나 최근, 인공지능(AI)이 인간의 개입 없이 이 난제를 해결하는 데 성공했다.

● ‘완벽한 평면’을 구현하려 ‘평면’을 넘다

기존 학계의 정설로 여겨진 에르되시의 격자 정렬 방법. 오픈AI 제공

1일(현지 시간) 월스트리트저널(WSJ)에 따르면, 최근 오픈AI는 자사의 범용 추론 모델이 에르되시의 가설을 반박하는 증명을 도출했다고 밝혔다.

그동안 에르되시는 바둑판이나 모눈종이 같은 ‘정사각형 격자 구조’로 점을 배열하는 것이 1cm 짜리 쌍을 가장 많이 만드는 최선의 방법이라고 추측했다. 지난 수십 년간 수학계는 이 격자 모델이 정답이라고 굳게 믿어왔다.

그러나 오픈AI가 개발한 범용 추론 모델은 완전히 다른 답을 내놨다. 격자를 뒤틀어 점들을 배치하는 방식으로 기존보다 훨씬 더 많은 단위 거리 쌍을 만들어낼 수 있음을 구조적으로 증명한 것이다.

평면에 최대한 많은 쌍을 만들기 위해 AI가 선택한 방법은 ‘평면을 벗어나는 것’이었다. AI는 평면 격자가 아닌 고차원 공간에 점들을 배치했고, 이것을 압축시켜 다시 평면 위로 투영시키는 ‘고차원 사영’ 방식을 활용했다.

이 때문에 이 점들은 위에서 볼 때 아무런 규칙 없는 무작위한 배열로 보이지만, 하나하나 뜯어보면 모두 정확히 1cm 거리에 위치한 점들의 쌍을 만들어낸 것이다.

● “AI, 수학자의 호기심 증명하는 ‘계산기’ 될 것”

한 유저가 AI의 풀이를 모델로 구현한 모습. 기존의 격자 모양 해법과 달리 무작위에 가까운 점의 배치가 보인다. 레딧 갈무리

이같은 풀이는 오픈AI가 새 모델의 성능을 실험하는 과정에서 나왔다. 오픈AI의 메흐타브 사우니 연구원은 “처음에는 믿기지 않아 코딩 에이전트와 외부 전문가를 동원해 작업을 재검증했다”고 WSJ에 전했다.

인간이 80년간 풀지 못한 난제를 AI가 풀어낸 데에는 세 가지 요인이 꼽힌다. 첫째로는 AI는 에르되시의 추측을 증명하려 한 것이 아닌 새 전략을 실험했다는 점이다.

또한 문제를 기하학에만 한정시키지 않은 점도 중요했다. 기존 수학계는 한 분야의 전문성을 기르는 방향으로 발전했는데, AI는 대수적 수론과 이산기하학을 접목해 문제를 풀어냈다.

마지막으로는 인간의 가장 큰 한계인 ‘체력’이다. 식사나 수면이 필요 없는 AI는 7만5000단어에 달하는 추론 과정을 거쳐 난제를 풀어냈다. 전직 오픈AI 연구원은 이 성과를 도출하는 데 32시간 가량이 들었을 것이라 추측했다. 인간이 하루 최대 집중 가능한 시간은 보통 1시간, 길어도 3시간 가량으로 알려져 있다.

바둑 기사들의 결정력의 품질(Quality) 점수와 시간 간을 나타낸 연표. 평균 범위에서 오가던 품질이 AI가 등장한 2010년대 후반 이후 급격히 상승하고 있다. 노암 브라운 엑스 갈무리

필즈상 수상자인 티모시 가워스 콜레주 드 프랑스 교수는 “단위 거리 문제의 해법이 AI 수학의 획기적 이정표라는 점은 의심의 여지가 없다“며 ”만약 인간이 이 논문을 작성해 세계적 학술지 ‘수학 연보’에 제출했다면 주저 없이 게재를 추천했을 것“이라고 평했다.

이를 두고 수학계에서는 AI의 업적을 인정하면서도 ‘인간 수학자’의 중요성을 역설한다고 보고 있다. 계산기가 처음 등장해 연산 과정을 극도로 쉽게 만든 것처럼, 수학자들의 호기심을 풀어내는 방향으로 AI가 동원될 수 있다는 것이다.

AI 추론 분야의 전문가인 노암 브라운 오픈AI 연구원은 자신의 엑스(X)에 “알파고 이후 인간 바둑 기사들의 실력이 눈에 띄게 향상됐다”며 “수학에서도 비슷한 패턴을 보게 될 것”이라고 짚었다.

김영호 기자 rladudgh2349@donga.com