외출 준비를 할 때 가장 먼저 챙기는 물건 중 하나가 스마트폰이다. 예전 같으면 전화기와 지갑만 달랑 챙겨 나가면 그만이었겠지만 전화기로 별별 일을 다 하는 요즘에는 이것만으로는 어딘가 허전하다. 무언가 빠진 것이 없나 살펴보다 책상 위에서 웬 실타래가 하나 눈에 띈다. 이것이다 싶어 덥석 움켜쥐고는 바쁜 마음에 주머니에 쑤셔 넣고 집을 나선다. 부랴부랴 시간 맞춰 버스에 올라타고 자리까지 잡고 나서는 멀뚱멀뚱 광고판만 쳐다보기 민망해서 주머니에 쑤셔 넣은 실타래를 꺼낸다. 시간이 없어 미처 귀에 꽂지 못한 이어폰이다. 이런, 주머니에 넣을 때는 국수 가락처럼 가지런하던 줄이 어느새 교묘하게 꼬여 버렸다. 주섬주섬 꼬인 줄을 풀기 시작하지만 잘되지 않는다.마치 누군가가 골탕 먹이려고 일부러 묶어 놓은 것만 같다.

음악이나 느긋하게 들으면서 창 밖의 경치를 구경하려던 생각은 날아가고 입에서는 나지막이 육두문자가 튀어나온다.누구나 경험해봤을 만한 장면이다. 세상에는 이성과 과학으로 설명할 수 없는 것들이 있을지도 모른다지만, 이어폰 줄이 빚어내는 '포악질'은 불가사의에 가까울 정도다. 그저 주머니에 고이 모셔두고 조금 뛴 것뿐인데, 일부러 꼬아대기도 힘들 만큼 복잡한 매듭이 얽혀 있으니 말이다. 하루에 한 번쯤은 겪는 이런 당혹스러움은 오랜 옛날부터도 골칫거리였던 모양이다. 동방 원정을 시작하기 전에 알렉산드로스 대왕이 쿨하게 칼로 잘라버렸다는 고르디아스의 매듭 설화도 있고, '엉킨 실타래'는 복잡하게 꼬여 해결하기 어려운 문제에 대한 비유로 종종 사용되곤 했다.

세상을 채운 고리

'날 괴롭히는 것은 용서 못한다!'라며 이어폰을 노려보는 사람들에게 위안이 될지 모르겠지만, 주머니 속에서 벌어지는 조화를 이해하는 데 수학이 도움이 될 수도 있다. 바로 매듭을 분류하고 이들의 변형을 연구하는 '매듭론' 덕분이다. 매듭론은 위상수학의 한 분야로 순수수학치고는 꽤나 구체적인 현실을 다룬다. 다만 여기서 말하는 매듭이란 일상생활에서 접하는 매듭과는 약간 다르다. 흔히 접하는 매듭은 그저 실을 꼬아서 묶는 것을 일컫지만, 매듭론에서 다루는 매듭은 처음과 끝을 이어놓은 실, 즉 완전한 폐곡선 형태를 말한다.
매듭론이 폐곡선 형태의 구체적인 대상을 다루는 이유는 그 기원이 물리학의 '소용돌이(vortex)'를 설명하는 과정에서 탄생했기 때문이다. 여기서의 소용돌이란 흔히 생각하듯 물이나 공기가 뱅뱅 돌며 휘몰아치는 그 소용돌이가 맞다. 태풍이나 토네이도, 막대로 휘저어서 생긴 커피잔 속의 와류, 기세 좋게 회전하는 변기의 물에서 볼 수 있는 현상이다. 과학적으로 엄밀하게 정의하자면, 소용돌이는 유체의 일부가 원운동을 하는 부분을 이르는 말로 별다른 방해가 없는 이상적인 상황에서는 폐곡선을 따라 영원히 회전한다. 주변에서 어렵지 않게 볼 수 있는 현상인 소용돌이가 왜 물리학에 등장했을까?

▲ 프랑스의 철학자, 데카르트가 내놓은 많은 이론들은 오늘날 틀린 것으로 밝혀졌다. 그러나 그가 발전시킨 기계론적 세계관은 과학혁명의 기반이 되었다.

근대 과학이 태동하던 17세기, 프랑스의 철학자 르네 데카르트(René Descartes)는 '기계론적 세계관'을 정립했다. 그는 세계를 무한히 나눌 수 있는 물질로 꽉 들어차서 이 물질들이 정교한 기계처럼 상호작용한다고 생각했다. 미세한 물질들은 한데 모여 물체를 이루고 각각의 물질들이 신으로부터 운동량을 부여 받아 소용돌이 형태로 움직이며 다양한 변화를 일으킨다는 것이다. 현대의 지식으로 보아도 신만 뺀다면 유체에 관한 한, 과학적으로 합당한 설명이라 할 수 있다. 그런데 데카르트는 이를 우주로 확장시켰다. 애초에 그는 당대의 '핫'한 학문이던 천문학에서 행성의 운동을 설명하기 위해 자신의 기계론에 소용돌이를 도입했다.

안타깝게도 데카르트의 소용돌이 이론은 이후의 실험과 아이작 뉴턴(Isaac Newton)의 발표로 산산조각 났다. 뉴턴은 데카르트를 꽤나 의식하는 편이었다. 전통적인 라이벌인 영국과 프랑스의 자존심 싸움도 있었을 테고, 지기 싫어하고 권모술수를 좋아하는 뉴턴의 성격상 경쟁심도 있었을 것이다. 뉴턴이 자신의 저서에 굳이 '수학적 원리'라는 말을 붙인 이유도 데카르트의 '철학 원리'에 대항하려는 의미도 있었다. 뉴턴은 인력이라는 개념을 이용하여 행성의 움직임을 깔끔하게 해석해내는 한편으로, 소용돌이 이론을 유체의 운동에 한정된 것으로 취급했다. 한마디로 '아무것도 없어도 잘만 작동하는 우주에 소용돌이는 무슨 놈의 소용돌이?'라는 메시지였던 셈이다.

물리학의 오류에서 탄생한 매듭이론

소용돌이 이론이 우주에서는 수명이 끝났다지만, 액체나 기체 같은 유체의 운동에는 여전히 부합하는 설명이었다. 특히 소용돌이는 복잡하고 예측하기 어려운 유체의 운동을 단순화시키는 데 요긴했다. 인스턴트 커피에 물을 붓고 휘저을 때를 생각해 보자. 잔 속의 물은 한 덩어리로 원운동을 하는 것처럼 보이지만, 자세히 보면 찻잔에 가까운 부분의 커피 분말은 물을 따라 회전하지 않고 제자리에서 뱅뱅 맴도는 경우가 있다. 물의 흐름 근처에 작은 크기의 소용돌이가 생기는 것이다.
프랑스의 철학자, 데카르트가 내놓은 많은 이론들은 오늘날 틀린 것으로 밝혀졌다. 그러나 그가 발전시킨 기계론적 세계관은 과학혁명의 기반이 되었다.

이는 산속 개울에서 종종 볼 수 있는, 물가의 나뭇잎이 하류로 떠내려가지 않고 제자리에서 맴도는 것과 비슷한 현상이다. 이를 더욱 미시적으로 살펴보면 한 방향으로 흘러가는 듯 보이는 유체들도 미세한 소용돌이의 연쇄로 이루어진다는 사실을 알 수 있다. 이를 체계화한 이론이 바로 유체에서의 소용돌이 이론, 흔히 '보텍스(vortex)'라고 말하는 이론이다. 보텍스 이론은 미세한 소용돌이가 최소 단위를 이루고 이들이 모여 커다란 유체의 움직임을 구성한다고 본다. 따라서 단위 소용돌이의 성질과 변화를 분석하면 전체 유체의 흐름도 예측할 수 있을 것이다. 유체에서의 보텍스 이론은 독일의 과학자인 헤르만 폰 헬름홀츠(Hermann von Helmholtz)가 체계화하고 영국의 과학자, 켈빈 경(Lord Kelvin, William Thomson)이 다듬어 완성했다.

켈빈 경은 오늘날 절대온도를 뜻하는 '켈빈'이라는 단위에 이름을 남긴 과학자다. 전기와 열역학 연구에서 엄청난 공을 세운 이 위대한 과학자는 정작 원자론에는 재능이 없었는지, 원자의 존재를 부정하는 중대한 오류를 범했다. 그가 원자의 대체재로 선택한 것이 바로 소용돌이로, 보텍스 이론을 바탕으로 새로운 화학 체계를 구상할 심산이었다. 켈빈 경은 원자는 단단한 입자가 아니라 특정한 모양과 고리의 개수를 지니는 소용돌이로 이루어진다고 생각했으며, 소용돌이의 모양과 구조에 따라 물질의 성질과 화학반응이 결정된다고 주장했다. 켈빈 경이 '원자의 소용돌이' 이론의 이론의 기본 골격을 만들었다면 동료인 피터 테이트(Peter G. Tait)는 세부 아이템들을 채워 넣었다. 테이트는 원자를 대체할 매듭의 개념을 분명하게 정의하고 매듭을 종류별로 분류했다. 켈빈의 이론에서는 매듭이 원자를 대체했으므로, 이는 곧 각 물질의 성질에 대응하는 구조의 매듭을 하나하나 지정하는 작업이었던 셈이다.

현실을 설명하는 수학, 과학을 바꾸는 수학

수학적으로 매듭이란 실 한 가닥의 처음과 끝을 연결하여 만든 폐곡선을 말한다. 이 매듭을 구분하고 이들의 변형을 연구하는 학문이 매듭론이다. 매듭은 매듭을 이루는 실이 서로 교차되어 꼬인 부분이 몇 개인지에 따라 구분한다. 가장 기본적인 형태의 매듭은 교차된 부분이 없는 원형이다. 원형매듭을 중간을 끊지 않은 채 이리저리 복잡하게 꼬아 놓아도 꼬인 부분을 신중하게 풀어나가면 끈을 자르지 않고도 원래의 원형으로 되돌릴 수 있다. 이때 원래의 원형 매듭과 복잡하게 꼬아 놓은 매듭은 동일한 매듭이다. 실뜨기 놀이를 할 때 고리로 묶어 놓은 실의 모양이 다양하게 변화하지만 손에서 빼는 것만으로 간단하게 원래의 원형 고리로 되돌릴 수 있다는 점을 생각해보면 된다.

▲ 가장 기본적인 매듭인 원형 매듭(왼쪽)과 그 변형(오른쪽). 두 매듭은 얼핏 달라 보이지만 원형 매듭을 적당히 꼬아 놓으면 오른쪽의 매듭이 나온다. 이 과정에서 매듭의 중간을 자르거나 하는 일이 없었으므로 두 매듭은 같은 매듭이다.

그렇다면 복잡하게 얽힌 두 매듭이 같은지 다른지 어떻게 알 수 있을까? 이를 설명한 사람이 독일의 수학자 쿠르트 라이데마이스터(Kurt Reidemeister)다. 이름에 '마이스터'가 들어간 사람답게 그는 매듭론의 기초를 이룰 중요한 개념을 정립했다. 라이데마이스터는 하나의 매듭이 같은 종류의 다른 매듭으로 변할 때 세 가지 변형을 거친다는 사실을 알아냈다. 막상 그림으로 보면 맥 빠지게 간단하고 자명해 보이는 개념이지만, 이를 통해 하나의 매듭이 어떤 매듭으로부터 변형된 것인지 증명할 수 있다. 바꾸어 말하면 라이데마이스터 변형으로는 결코 변하지 않고 보존되는 수학적인 양이 있어, 이 양에 따라 매듭을 구분할 수 있다는 뜻이다.

매듭이 꽤나 매력적인 주제였는지 많은 수학자들이 매듭에 지속적으로 관심을 두고 연구했다. 20세기 들어서는 대수구조를 이용하여 매듭을 함수 형태로 분석하기 시작하면서 본격적으로 체계화됐으며, 이 과정에서 '땋임(braid)'과 통합된다. 땋임이란 머리카락을 땋듯 몇 가닥의 실을 꼬아 놓은 모양을 일컫는다. 매듭과 달리 양쪽이 연결되지 않은 실 여러 가닥이 얽힌 모양이다. 땋임을 연결한 형태는 특정한 대수적 구조인 '군(群)'으로 정의할 수 있으며 이를 '땋임군'이라고 한다. 땋임군의 구조를 매듭에 적용하면, 서로 땋인 실의 아래쪽과 위쪽을 서로 연결할 때 매듭이 만들어진다는 사실을 확인할 수 있다.

별 걸 다 연구한다 싶겠지만 의외로 매듭과 땋임 연구는 매우 중요하다. 복잡한 3차원 구조를 수학적으로 분석함으로써 어떻게 변형이 가능한지 예측할 수 있게 해 주기 때문이다. 대표적으로 활용되는 분야가 바로 분자생물학이다. 분자생물학에서 가장 중요한 연구대상 중 하나가 DNA다. 유전정보를 담은 DNA는 평소에는 차지하는 공간을 줄이기 위해 빽빽하게 꼬인 상태로 존재한다. 그러다 유전정보를 복제하거나 단백질을 만들어내야 할 때 잔뜩 꼬인 나선구조를 풀어야 하는데, 효소가 가장 효율적으로 꼬임을 풀 수 있도록 DNA의 적당한 부분을 끊는다. 매듭이론은 이 과정을 분석하는 데 매우 요긴하다.

▲ 세 가지 유형의 라이데마이스터 변형. 첫 번째 그림의 1종 변형은 한 가닥, 두 번째 그림의 2종 변형은 두 가닥, 세 번째 그림의 3종 변형은 세 가닥의 실이 있을 때의 변형 방법이다. 세 경우 모두 왼쪽의 실을 중간에 자르거나 다시 붙이는 일 없이 적당히 변형시키면 오른쪽의 형태를 얻을 수 있으며 화살표 양쪽의 매듭은 수학적으로 서로 동일하다.

생물학 외에도 매듭론은 여러 분야에 응용된다. 국내에서 발표된 것 중 중요한 사례로는 땋임군을 이용한 암호이론이 있다. 이는 세계에서 최초로 한국의 연구자가 개발한 독자적인 암호체계로 후속 연구가 계속 진행 중이다. 물리학의 최전선인 양자장 이론에서도 매듭론은 중요한 역할을 한다.

활용범위가 넓은 만큼 매듭이론은 현대 수학에서 중요한 위치를 차지하고 있다. '수학계의 노벨상'인 필즈상 수상자가 이 분야에서만 여러 명 나왔으며, 국내에서도 IBS의 오용근 기하학수리물리연구단장을 필두로 많은 연구자들이 매듭론 연구에 참여하고 있다. 특히 기하학수리물리연구단은 땋임군 연구를 통해 복잡한 3차원 구조를 분석해내는 방법을 제시함으로써 타 분야 연구에 기여할 것으로 기대된다. 단순한 고리에서 시작된 연구가 세상의 근본 원리를 탐구하는 열쇠가 된 것이다.