최악 위험 피해 ‘차악’ 선택하기

박우현/벼리논술연구소 소장, 전 동아일보 기자

꼼짝마 논술

알아두면 도움되는 비유 - <3> 죄수의 딜레마

불확실한 상황서 이익 극대화 전략

케이크를 놓고 다투는 두 아이, 입찰 현장에 나타난 업자들, 아니면 핵무기 개발을 놓고 줄다리기를 하는 북한과 미국, 이들 모두에게는 똑같은 목표가 있다. 탐욕과 불신에 찬 사회나 국제무대에서 이들이 원하는 것은 다를지라도 목표는 하나다. 즉, 자신의 이익을 극대화하는 것이다. 아이는 조금이라도 더 많은 케이크를 차지하기 위해서, 업자는 상대를 따돌리고 자신이 낙찰을 받기 위해서 행동한다. 미국은 어디로 튈지 모를 북한이 핵무기를 갖는 것이 두렵고, 북한은 핵무기 보유를 통해 자신의 안전을 확보하려 한다. 우리는 현실 속에서 이처럼 풀기 어려운 상황에 종종 부딪힌다. 여기에 답을 찾아주는 게 바로 게임이론이다. 게임이론은 이들의 행위에 공통의 규칙을 찾고 해법을 찾는 것을 목표로 한다.

1944년 프린스턴대의 수학자 폰 노이만은 동료이자 경제학자인 오스카 모르겐슈타인과 함께 <게임이론과 경제행위>라는 책을 출간했다. 포커를 즐겼던 폰 노이만은 여기에서 게임이론에 대한 영감을 얻었다. 포커게임은 상대를 기만하려는 허풍과 속임수의 세계다. 그는 불확실한 상황에서 이길 수 있는 수학적 방법을 찾으려 하였다. 노이만은 이 이론이 경제학에 대단히 쓸모 있을 것이라고 생각했다. 그러나 그에 대한 학계의 반응은 처음에 무척 냉담했다. 책은 출판이후 5년 동안 4천부도 팔리지 않았다.

그러나 2차세계대전 이후 미국과 소련이 냉전체제에 돌입하자, 이 때 대륙간 핵전쟁에 관한 전략연구를 수행하였던 미 군부는 이 연구가 지닌 가치를 먼저 간파했다. 그곳이 바로 지금 미국의 대표적인 싱크탱크 랜드연구소의 전신이었던 랜드회사다. 랜드는 폰 노이만을 자문역으로 고용하여 게임이론을 발전시키는데 노력을 기울였다. 랜드에서 게임이론은 그 기초를 다졌고, 1994년 노벨 경제학상 수상자 존 내쉬를 비롯한 게임이론의 대가들 역시 이곳을 거쳐 갔다.

미·소간 핵무기 경쟁 설명하는 틀

게임이론은 불확실한 상황에서 자신의 이익을 극대화하려는 전략을 연구한다. 여기에서 만나는 상대는 자신을 속이고 변절할 수 있다. 그러나 이들 행위자에게는 행동의 원칙이 있다. 즉 합리적이라는 것이다. 여기서 합리적이란 의미는 자신의 이익을 항상 계산한다는 것을 말한다. 게임의 무대인 사회는 논리적 합리적 공간은 아니다. 비합리적인 사회 속에서 합리적인 선택을 추구한다. 노이만은 이익이 완전히 상반되는 행위자간의 게임에 항상 합리적인 행동의 원칙이 있다는 것을 수학적으로 증명했다. 이 증명을 노이만은 ‘최소최대정리(minimax theorem)’라고 불렀다.

일반적으로 게임에는 승패가 확연히 나뉜다. 당연히 목표를 놓고 행위 당사자 간에 갈등이 등장한다. 그는 포커를 사례로 들었다. 포커게임은 일견 수학적 확률이론에 기초하는 것 같다. 순진한 확률 이론가는 포커게임에서 자신의 패가 상대방의 패보다 높을 확률을 계산하고 패의 좋고 나쁨에 정비례하여 돈을 건다. 그러나 실제 포커게임은 그렇게 진행되지는 않는다. 포커페이스가 왜 있는가. 포커 참여자들은 상대의 마음을 읽고 또 자신의 마음을 내보이지 않도록 노력한다. 포커게임에서는 상대를 속이려 허풍을 치고 다양한 기만전술도 구사한다. 이것이 포커게임에만 해당하는가. 현실은 교과서와는 다른 세계이다. 그만큼 현실은 불확정적이며 불확실한 세계이다.

1950년대 랜드의 두 과학자 메릴 프러드와 멜빈 드레셔는 게임이론의 고전이 되는 모델을 고안했다. 이 모델에 회사의 자문역인 앨버트 터거가 ‘죄수의 딜레마’라는 이름을 붙였다. 죄수의 딜레마는 수학적 구성물인 동시에 현실적 삶의 문제였다. 이 딜레마는 50년대의 핵 확산과 군비경쟁이 심각한 당시의 상황을 그대로 반영한다. 치열했던 미소간의 핵 경쟁을 이 딜레마로 설명할 수 있다. 그렇다고 이 딜레마가 반드시 군사적 쟁점에만 한정되는 것은 아니다. 이 딜레마는 이익의 갈등이 존재하는 곳 어디에서나 나타날 수 있는 현상이다.

죄수 두 명이 경찰관에게 취조를 당하고 있다. 경찰이 두 사람에게 각각 다른 방에서 다음과 같이 제안했다.

1)만일 네가 죄를 자백하면 최대한 정상 참작해 너는 징역 5년으로 해 주겠다.

2)네가 자백하지 않고 네 동료가 자백하면 네가 모든 죄를 뒤집어쓰고 징역 20년을 살게 될 것이다.

3)너와 네 동료 모두 자백을 하면 징역 5년이 된다.

그러나 둘 다 모두 굳게 입을 다문다면 경찰은 유죄를 입증하지 못해 증거 불충분으로 풀어줄 수밖에 없다.

상황이 이렇다면 당신은 어떤 선택을 할 것인가? 둘은 협조를 하여 서로 입을 다무는 것이 최고의 전략이다. 침묵한다면 그들은 둘 다 풀려날 것이다. 그러나 상대를 불신하기에, 이 둘은 자신에게 돌아올 피해를 최소화하는 전략을 선택하게 된다. 두 사람은 20년형이라는 최악의 상황을 회피하려 서로 자백해 5년형을 살게 된다는 것이 ‘죄수의 딜레마’론의 내용이다. 일견 비합리적인 선택처럼 보이는 이들의 행동, 그러나 역설적으로 이들의 선택은 합리적이라는 것이다.

상호협력 통해 공동이익 확보 불가능

‘죄수의 딜레마’에서 알 수 있듯이 게임이론은 자신의 이익을 최대화하려 하는, 서로 속임수를 쓸 가능성이 있는 경쟁자들 간에 일어나는 갈등의 연구다. 이 딜레마에서 최고의 선택은 상호협력을 통해 공동의 이익을 확보하는 것이다 그러나 죄수의 딜레마에서 이것은 불가능하다. 여기에 우리 사회의 근본문제가 존재한다.

우리가 살고 있는 이 세계에서 재앙과 비극은 개인과 집단이 공동이익을 버리고 각자의 이익만을 추구하려는 경향 때문에 일어난다는 것이다. 노이만이 그의 이론을 통해 우리에게 말하고자 하는 것은 인류가 이러한 재앙과 비극을 회피할 수 있는 방법을 찾아야 한다는 것이다. 경희대는 2002년 정시에서 공리주의적 분배와 분담의 원칙으로 ‘케이크 자르기’를 지문으로 제시하였다. 이는 게임이론의 최소최대의 원칙을 반영하는 게임으로, 탐욕스러운 두 아이의 케이크 분배를 통해 갈등을 해결하는 방식을 보여준다. 2004년 동국대 수시 모의논술에서는 로크의 소유권이론에서 간과하고 있는 부분을 죄수의 딜레마와 관련지워 해결하는 방식을 물었다. 2006년 고려대 수시1학기 수리논술에서는 피혁업자와 양식업자 간의 갈등을 전제하고 이들의 협조를 통하여 자신의 이익을 극대화하는 전략에 관한 문제가 나왔다.