숨기는 자와 풀어내는 자의 두뇌게임… 암호의 세계

영화 ‘다빈치 코드’에는 성배의 비밀을 담고 있는 문서를 보관하기 위해 정교하게 고안된 ‘크립텍스’라는 특수용기가 등장한다. 주인공은 5자리로 된 비밀번호를 풀어 나가면서 점점 ‘진실’에 다가간다. 동아일보 자료 사진

미국의 천재 소설가 에드거 앨런 포는 평소 친구와 암호문으로 편지를 주고받거나 자신의 작품에 암호를 푸는 장면을 넣기로 유명했다. 사진은 포에게 전달된 암호문. 사진 제공 보클러닷컴

《얼마 전 영화로도 개봉된 소설 ‘다빈치 코드’는 주인공(톰 행크스 분)이 시체 주변에 남겨진 수수께끼 같은 암호문들과 마주치는 데서 시작한다. 알쏭달쏭한 숫자들의 집합과 문장들, 뭔가를 상징하는 듯한 그림 조합을 실타래처럼 풀어가는 두뇌 게임이 쏠쏠한 재미를 선사한다. 하지만 암호는 보통 사람에게는 여전히 낯선 언어일 뿐이다. 20세기 초 ‘암호학=수학’이 성립하면서 수학자들은 점점 어려운 수학적 난제를 암호로 제시하고 있는 추세다.》

○ 메시지를 숫자화하는 RSA 방식 대부분

1970년대 컴퓨터와 인터넷이 발전하면서 암호는 실생활에 깊이 파고들기 시작했다.

대표적인 예가 인터넷 뱅킹과 휴대전화다. 인터넷으로 통장을 정리하거나 물건을 거래할 때 오가는 모든 정보는 암호로 바뀌어 전달된다. 은행의 ‘공인인증서’와 ‘보안카드’는 개인정보와 비밀번호를 암호로 만드는 수단이다. 디지털 케이블 방송의 복사 방지 장치나 도청을 막는 비화 전화기에도 암호가 이용된다.

현재 민간에서 사용되는 암호의 대부분은 RSA 암호와 타원곡선(ECC) 암호다. RSA 암호는 원래 메시지를 소수(1과 자신 외에는 나눠지지 않는 수) 여러 개로 만들고 이들을 곱해 만든다. 만일 금고에서 315라는 암호를 찾아냈다면 그 소수 ‘3, 3, 7, 5’를 답할 수 있어야 금고문이 열린다. 하지만 숫자가 아주 크면 소인수분해하기 어렵다.

흔히 ‘도넛 암호’라고 불리는 타원곡선 암호는 원래 메시지를 도넛형 타원곡선 공식에 따라 다른 위치로 옮긴 것. 타원곡선 위에 암호화된 임의의 점을 발견한다면 이 점이 곡선 위 다른 점들(원래 메시지)과 더해져 만들어진 것인지를 풀어내야 한다. 비록 덧셈이지만 곡선 위의 무수히 많은 점 가운데 원래 점을 찾는 것은 슈퍼컴퓨터로도 불가능하다. 복잡한 만큼 암호 길이도 짧아 스마트카드나 모바일 단말기용 암호 기술로 사용된다.

한국과학기술원 수학과 한상근 교수는 “이들 수학적 개념은 이미 1940년대 초 전문가들 사이에선 널리 알려져 있었다”며 “대부분 국가 안보 차원에서 발표가 늦어진 것”이라고 설명했다.

○‘다항식 연립방정식’ 최근 급부상

방패가 있으면 좀 더 강한 창이 등장하는 법. 양자컴퓨터처럼 강력한 컴퓨터의 등장이 점쳐지면서 학계에서는 더 어려운 암호를 연구하기 시작했다. 최근에는 ‘해독률 0’에 가까웠던 난수(무작위로 뽑은 수) 생성기로 만든 암호마저 80∼90% 풀리고 있는 실정이다.

그래서 최근 주목 받는 이론이 ‘그뢰브너 기저’를 이용한 암호 기술이다. 23, 24일 고등과학원에서 열리는 암호학 최신 동향에 대한 워크숍에서도 비중 있게 다뤄질 정도로 관심을 모으고 있다. ‘그뢰브너 기저’란 여러 개 변수를 갖는 다차원 다항식의 연립방정식을 푸는 방법론을 말한다. ‘도넛 공식’이 하나의 다항식으로 이뤄진 데 비해 여러 개의 다항식으로 구성된다.

고등과학원 계산과학부 박형주 교수는 “원래 메시지들을 변수에 넣고 거듭제곱을 한 뒤 더하거나 빼는 등 연산을 한다”며 “‘답’을 알아야 겨우 원래 메시지를 알아낼 정도이므로 ‘답’을 모르는 경우 접근이 어렵다”고 말했다.

박근태 동아사이언스 기자 kunta@donga.com