AI가 ‘정수론’까지… 수학 난제 해결 실마리 찾을까

美수학-과학 전문 매체서 소개
한국 수학자 참여한 미국 연구팀
방정식 수열 100만 개 학습시켜… 새로운 형태 타원곡선 패턴 발견
“AI가 발견하고 인간이 의미 해석”… 7대 난제인 ‘BSD 추측’ 풀 수도

이규환 미국 코네티컷대 교수가 AI를 이용해 타원곡선의 새로운 패턴을 찾아냈다. 패턴 모양은 찌르레기 떼의 움직임과 비슷하다. 게티이미지코리아

이규환 미국 코네티컷대 교수. 이규환 교수 제공

인공지능(AI)이 상금 100만 달러(약 13억 원)가 걸린 수학 난제를 풀 실마리를 찾았다. 수학의 핵심 분야로 여겨지는 ‘정수론’ 난제 해결에서 AI가 낸 첫 성과로 학계의 비상한 관심을 끌고 있다. 이번 연구에는 한국 수학자도 참여해 의미가 크다.

● AI가 새로운 패턴 찾아내

미국 수학·과학 전문 매체 ‘콴타매거진’은 5일(현지 시간) 이규환 미국 코네티컷대 수학과 교수가 포함된 연구팀이 AI를 이용해 타원곡선의 새로운 패턴을 찾아냈다는 내용의 연구를 소개했다. 콴타매거진은 수학 분야에 아낌없는 투자를 하는 수학자 출신 억만장자 짐 사이먼스 르네상스테크놀로지 회장이 만든 전문 매체로 수학계에서 권위가 높다.

연구팀은 2020년 AI에 타원곡선 방정식의 수열 약 100만 개를 학습시켰다. 타원곡선 방정식은 정수론을 비롯해 대수기하학, 해석학, 표현론 등 수학 전반에 적용할 수 있어 매우 중요한 수학 이론으로 여겨진다. 영국 수학자 앤드루 와일스가 1993년 수학사에 가장 유명한 정리로 꼽히는 ‘페르마의 마지막 정리’를 풀 때도 타원곡선 방정식을 이용했다.

타원곡선 방정식 수열 약 100만 개를 학습한 AI에게 새로운 타원곡선 패턴을 찾아달라고 명령하자 사람이 연구할 땐 볼 수 없었던 새로운 패턴을 찾아냈다. 연구진은 패턴의 모양이 수백 마리로 이뤄진 찌르레기 떼가 오르락내리락하는 모양과 비슷해 찌르레기 떼 움직임을 일컫는 영어 단어 ‘머머레이션스(Murmurations)’라고 이름 붙였다. 이 교수는 화상 인터뷰에서 “타원곡선에서 두 개의 특정 그래프가 각자의 위치에서 오르락내리락하는 모양을 띤다는 것은 잘 알려져 있었지만 이번 연구를 통해 그래프의 위치가 크게 서로 뒤바뀐다는 사실을 처음 알게 됐다”고 설명했다.

연구팀은 2022년 논문 사전 공개 사이트 ‘아카이브’에 연구 결과를 담은 논문을 실었다. 통상 수학에선 논문을 발표하더라도 검증기간이 1∼3년으로 길어 주목받는 데 시간이 걸린다. 이 교수의 연구가 공개되자 “AI가 정수론에까지 손을 뻗쳤다”며 학계의 주목을 받았다. 이후 이 교수 연구팀이 발견한 패턴이 다른 이론에 적용될 수 있는지 등을 확인하고 설명하는 연구들이 이어지고 있다.

특히 이번 연구결과는 밀레니엄 수학 7대 난제인 ‘BSD 추측’과도 관련이 있어 난제를 풀 수 있는 힌트가 될 수 있다는 점에서도 관심을 끈다. 밀레니엄 난제는 미국 클레이수학연구소에서 21세기에 가장 큰 영향을 미칠 수 있을 것으로 보이는 7개의 수학 난제를 꼽은 것으로 상금 100만 달러가 걸려 있다. 7대 난제 중 하나인 BSD 추측은 타원곡선 방정식의 해가 유리수 범위에서 유한한가 무한한가는 특정 수열을 보면 알 수 있다는 내용이다. 수학 전문가들에 따르면 이번에 AI가 발견한 패턴은 BSD 추측의 핵심을 관통하면서도 이를 연구하는 수학자들에게 알려지지 않았던 내용이라 추측을 해결하는 데 완전히 새로운 관점을 제시할 수 있다. 이 교수와 함께 연구한 허양후이 런던 수리과학연구소 연구원은 “AI가 발견한 결과를 인간의 통찰력으로 해석해 만든 결과”라면서 “수학의 미래는 인간과 AI가 합심해 수학 문제를 푸는 모습일 것”이라고 말했다.

● 수학 정복 시도하는 AI

엄격한 추론과 논리가 필요한 수학은 AI 분야에서 그동안 도전적인 과제였지만 인간의 수학 능력을 AI가 점차 뛰어넘고 있다. 이미 수학계에서 AI는 그래프이론, 기하학 등 정수론 이외의 분야에서 성과를 냈으며 특히 AI의 보조를 받아 수학 증명을 하는 연구가 한창 진행 중이다. 현존 최고 수학자로 인정받는 테런스 타오 미국 로스앤젤레스 캘리포니아대(UCLA) 교수도 AI 도구를 이용해 새로운 추측을 제시하고 증명할 수 있는지 연구하고 있다. 올해 1월 구글 딥마인드는 국제수학올림피아드(IMO) 문제를 해결할 수 있는 AI인 ‘알파 기하학’을 공개하기도 했다. 2021년 알고리즘을 거래하는 영국 기업 ‘XTX 마켓’도 IMO에서 금메달을 딸 수 있는 AI를 만들면 1000만 달러를 주겠다고 발표한 바 있다.

이채린 동아사이언스 기자 rini113@donga.com