[과학이만난사회] 350년 풀리지 않은 난제에 30년 인생 바친 수학자/최영주

최영주/포항공과대 교수·수학

과학이 만난 사회

수학자 하디는 “젊은 수학자는 정리를 증명하고, 늙은 수학자는 책을 쓴다. 모든 수학자들은 이 사실을 항상 마음속 깊이 간직하고 있다…(중략)”라고 하였다.

젊은 나이에 미국 최고 대학의 교수로 임명되었던 영국 수학자 와일즈의 동료들은 약 7년간 일상적인 학회나 학술 활동에 조차 전혀 참여하지 않은 이미 40대에 들어선 와일즈 교수 연구인생은 끝이 났다고 생각했었다. 그러나 와일즈 교수는 완전히 실패로 돌아갈지도 모르는 단 하나의 수학 문제 해결을 위해 그의 프로페셔날 인생을 다 걸고 외부와 완전히 차단한 상태로 새로운 수학의 장을 개척하고 있었다.

지난 백년간 수학계의 가장 큰 뉴스를 든다면, 단연 1990년대 말 미국 프린스턴대학의 와일즈 교수에 의해 해결된, 350년간 수학의 최대 난제중의 하나였던 ‘페르마의 마지막 정리’에 관한 이야기라 하겠다. 고향의 마을 도서관을 방문한 10살 꼬마 와일즈의 마음을 평생 사로잡았던 간단한 수학문제는 고대 그리스 수학에 뿌리를 둔 ‘정수론’의 최고봉이었다. 350여년 전 아마추어 수학자 페르마에 의해 제안된 이 문제는 페르마 자신이 이미 해결하였다고 주장하였으나, 어디에서도 그 주장을 뒷받침할 풀이과정을 찾을 수 없었고 기라성 같은 수학자들의 오랜 도전에도 불구하고 수학의 최대의 난제로 군림하였었다. 그 날 이후 이 문제를 늘 가슴에 담아왔던 와일즈는 30년간의 각고의 노력 끝에 최첨단 현대수학 이론을 모두 동원해서 해답을 얻게 된다. 따라서 ‘페르마의 마지막 정리’는 350년간 현대 수학 발전의 흐름을 주도하였다고 할 수 있는 것이다.

사실 우리는 와일즈 교수의 천재적 능력보다도 꿈을 이루기 위해 실패를 두려워하지 않고 철저히 고독하고 외로운 길을 택한 용감한 과학자의 삶에 감동한다. 그간 수많은 저명한 수학자들이 실패한 일에 수년을 절대 몰입하는 것은 무모한 일이었지만, 그는 실패의 과정도 받아들일 준비가 되어 있었던 것이다. 와일즈 교수는 이 일에 매달리며 “앞이 보이지 않는 절망적인 순간에서 이 문제와 씨름하는 그 자체가 즐거웠다”고 회상한다. 그는 8년의 칩거생활 후 마침내 ‘페르마의 마지막 정리’를 증명하는데 성공한다.

다른 과학 분야와는 달리 완전한 증명을 최종 목적으로 하는 수학에서 와일즈 교수에 의해 검증된 이 ‘페르마의 마지막 정리’는 이제 아무리 시간이 흘러도 결코 변하지 않는 영원한 진리가 된 것이다.