[理知논술/수학 오디세이]변증법적으로 발전하는 수학

수학은 확실하고 보편적인 진리를 다루는 학문이며, 객관적인 사실의 집합체로 여겨진다. 그러나 수학의 역사를 살펴보면 수학적 지식의 성장은 절대성을 갖는 지식이 차곡차곡 누적되어 온 양적 확장의 과정이라기보다는 그 지식을 의심하고 비판하는 가운데 질적 변화를 이루어 온 변증법적 과정임을 알 수 있다. 그 대표적인 예가 19세기에 출현한 비유클리드 기하학이다. 비유클리드 기하학의 정립은 2000년 동안 절대적인 위치를 차지해 온 유클리드 기하학에서 벗어나 대안적인 기하학을 만드는 것이 가능함을 입증한, 수학사의 중요한 사건이다.

○ 비유클리드 기하학의 출현

유클리드 기하학의 기저를 이루는 공준의 마지막인 다섯 번째의 평행선 공준은 ‘한 직선과 그 직선 밖의 한 점이 주어졌을 때 그 점을 지나면서 주어진 직선에 평행한 직선을 단 하나 그을 수 있다’는 내용을 담고 있다. 평행선 공준을 제외한 나머지 공준들은 ‘두 점을 지나는 직선은 하나다’와 같이 그 공준이 참이라는 사실을 직관에 비추어 명백하게 알 수 있다. 이에 반해 평행선 공준은 직관적으로 자명하지 않아 증명을 요구하는 명제로 여겨졌고, 많은 수학자가 평행선 공준을 증명하고자 시도하였다. 평행선 공준을 정공법으로 증명하기 어렵다고 판단한 수학자들은 간접증명법을 이용하기 위해 평행선 공준을 부정하고 일련의 모순을 이끌어내려고 하였다. 그러나 평행선 공준의 부정은 모순을 도출하지 않았고 그 나름으로 또 하나의 기하학 구조를 세우는 계기를 제공하였다. 이렇게 하여 탄생한 것이 평행선을 무수히 많이 그을 수 있는 ‘쌍곡기하학’과 평행선을 한 개도 그을 수 없는 ‘타원기하학’으로, 이를 총칭하여 비유클리드 기하학이라고 한다.

○ 좌표계도 적분도 여러 가지

기본 전제를 뒤집어 코페르니쿠스적인 사고의 전환을 가져온 비유클리드 기하학의 아이디어는 대수학에도 적용되어, 곱셈의 교환법칙이 성립하지 않는 ‘사원수’와 같이 일반적인 수 체계와 다른 성질을 갖는 추상대수학 체계가 등장한다.

좌표계에서도 비슷한 논리가 적용된다. 평면에서 어떤 점의 좌표를 나타낼 때 흔히 x좌표와 y좌표로 이루어진 순서쌍을 생각하지만, 나선의 경우는 각 점과 원점으로부터의 거리, 그리고 각 점과 원점을 잇는 선분이 x축과 이루는 각을 이용하여 위치를 표시하는 극좌표를 이용하면 편리하다. 하나의 곡선이 상이한 좌표계에서 상이한 식으로 표현될 수 있는 것이다. 또 리만기하학에서는 기존의 직교하는 좌표계뿐 아니라 휘어진 좌표계를 설정하기 때문에 기존에 다루던 공간뿐 아니라 휘어진 공간과 같이 좀 더 일반화된 임의의 공간을 탐구할 수 있다.

고등학교에서 배우는 적분은 ‘리만적분’인데 이후 탄생한 ‘르벡적분’은 리만적분이 불가능한 함수까지 적분해낼 수 있는 더욱 강력한 개념이다. 이처럼 수학이 발전함에 따라 기본 가정을 달리하고 인공적인 수학 체계를 자유롭게 만들어낼 수 있으며, 기존의 특수한 개념들은 이후 발전된 더 포괄적인 개념으로 흡수되어 간다.

○ 괴델의 불완전성의 정리

쿠르트 괴델의 불완전성의 정리와 카를 하이젠베르크의 불확정성의 원리는 1930년을 전후로 수학과 과학적 지식의 한계를 입증한 양대 이론이다. 괴델의 불완전성의 정리의 핵심은 ‘무모순성’과 ‘완전성’을 동시에 갖춘 수학 체계를 만들 수 없다는 점이다. 수학 체계의 무모순성을 유지하려면 증명할 수 없는 정리가 나타나 완전성이 무너지고, 또 모든 정리가 체계 내에서 증명되는 완전성을 이루려면 모순이 발생한다. 하이젠베르크의 불확정성의 원리도 비슷한 아이디어를 담고 있다. 전자의 위치를 정하려면 운동량이 확정되지 않고, 운동량을 정확히 측정하려면 위치가 모호해진다. 이처럼 미시 세계에서는 ‘위치’와 ‘운동량’ 측정에서 동시에 정확성을 기하기 어렵다. 괴델과 하이젠베르크는 각각 수학과 물리학에서 두 가지 기준을 동시에 만족시키는 것이 불가능함을 갈파한다.

○ 잠정적 진리일 뿐

수학은 다른 학문과 비교할 때 확실성을 보장받을 수 있는 분야라고 흔히 간주되지만, 하나의 수학 체계는 절대성을 갖는 것이 아니다. 상이한 가정에서 기초하여 대안적인 수학 체계를 만들어낼 수 있기 때문이다. 그뿐만 아니라 괴델의 불완전성의 정리에 따르면 이렇게 만들어진 수학 체계는 무모순성과 완전성을 동시에 만족시킬 수 없기 때문에 완벽한 체계가 되기도 어렵다. 이런 점들을 고려하면 우리가 절대적이라고 믿고 있는 지식은 언젠가는 반박되어 다른 것으로 대체되거나 더 일반적인 개념으로 포섭될 수 있는 잠정적인 진리일 뿐임을 인정하게 된다.

微疫