[서울대 권장도서 100권]<45>괴델, 에셔, 바흐-더글러스 호프스태터

인간이 예로부터 가지고 있던 가장 큰 지적 호기심 중 하나는 우리 인간 자신에 관한 것이다. 자아란 무엇일까? 인간의 마음은 물질일까 아니면 물질이 아닌 어떤 것일까? 인간과 동일한 수준의 지능을 우리의 손으로 만들어 낼 수 있을까?

근자에 이르기까지 이러한 질문은 형이상학이란 이름 하에서 사변적으로 고찰되어 왔으나 과학기술의 발달과 컴퓨터의 출현은 이런 문제를 더욱 구체적으로 궁구할 수 있는 계기를 마련하여 주었다.

더글러스 호프스태터의 명저 ‘괴델, 에셔, 바흐’는 바로 이러한 마음의 문제와 인공지능의 가능성 문제를 다루고 있는 책이다. 인지과학자인 저자는 이러한 일련의 문제에 대한 답을 괴델의 수리논리학적 정리와 에셔와 바흐의 예술 작품에서 찾아낸다.

괴델의 정리, 에셔의 그림, 바흐의 음악의 공통점은 이들 모두가 다층구조를 이루고 있으며, 이 층들은 일종의 ‘이상한 고리’처럼 서로 엉켜 있다는 것이다. 즉, 최상 층위는 최하 층위에 의하여 규정되고 다시금 최상 층위가 최하 층위로 소급되어 영향을 미치면서, 층위 사이에 서로 상호작용을 한다는 것이다. 이 엉킨 고리는 본래적으로 그 자체 속에 역설적 측면을 내포하고 있다는 점에서 일종의 이상한 고리이다.

저자는 역설적 측면을 내포하고 있는 이러한 다층구조의 엉킴 자체가 바로 자아의 진정한 모습이며, 이 다층구조 속에 엉켜 있는 이상한 고리가 물질인 뉴런들의 밀림으로부터 어떻게 의식을 지닌 마음이 출현하는가를 시각적으로 보여주고 있다고 제시한다. 또 이러한 엉킨 고리를 구성하고 있는 다층구조의 모습을 토대로 인공지능의 가능성을 옹호한다.

에셔와 바흐의 작품은 이 ‘이상한 고리’에 대한 매우 특출한 예시이다. ‘손을 그리는 손’을 비롯하여 시작과 끝이 사라진 상태로 끝없이 반복되는 에셔의 그림들이 그렇고, 반복하면서 제자리로 돌아오는 바흐의 ‘무한히 상승하는 캐넌’이 그렇다. 바흐의 캐넌 ‘음악의 헌정’은 무한히 상승하는 순환 고리를 가지고 있어, 마치 끝나는 것처럼 보이는 종지부는 다시금 새로운 시작을 알리는 도입부로 연결된다.

저자는 이 이상한 고리의 역설적인 모습을 괴델의 불완전성 정리에서 더욱 또렷하게 인지하고, 이 책의 상당 분량을 할애하여 괴델의 정리를 천착해 들어간다. 괴델의 정리에는 ‘자기 지시’의 개념이 중심부에 자리 잡고 있으며, 이 자기 지시가 바로 다층구조의 엉킴의 출발점이자 역설의 원천인 것이다.

층위 사이의 엉킴으로 인해 역설을 일으키는 자기 지시의 간단한 예는 다음과 같다. “이 문장은 거짓이다.” 이 문장이 참도 아니고 거짓도 아닌 역설적 문장인 이유는 “이 문장이 참이라면, 거짓이라고 주장하고 있는 문장이 실제로는 참이므로 거짓이 되고, 이 문장이 거짓이라면, 거짓이라고 주장하고 있는 문장이 실제로도 거짓이므로 참이 되기 때문이다.”

저자 호프스태터는 1945년 미국 뉴욕 출생으로, 1961년 노벨 물리학상을 수상한 아버지 로버트 호프스태터의 학문적 자질을 이어받아 일찍이 과학자의 길로 접어들었다. 미국 스탠퍼드대를 거쳐 오리건대에서 물리학 박사 학위를 받았으며, 현재 인디애나대 인지과학 및 컴퓨터과학과 교수로 재직하고 있다. 이 책은 1979년 출간 직후 화제가 돼 이듬해 논픽션 부문 퓰리처상을 수상했다.

김영정 서울대 교수 철학과