왜 우리는 '눈에는 눈'보다 '한 번은 봐주는' 전략을 선택하도록 진화했는가?: 리처드 도킨스의 '진화적으로 안정된 전략(ESS)'

이 냉정한 게임의 최종 승자는 가장 강하거나 착한 자가 아니다. 가장 안정적인 전략을 가진 자가 살아남는다. 체스판 위에서 공격적인 매파나 수동적인 비둘기파를 모두 이기고 최종 승자가 된 '팃포탯' 전략을 상징하는 체스 말

인간은 왜 배신하고, 또 왜 협력하는가?

우리는 종종 인간의 본성을 선과 악이라는 이분법으로 나누곤 합니다. 어떤 이는 끝없이 남을 돕는 ‘성인’처럼 보이고, 다른 이는 자신의 이익을 위해서라면 배신도 서슴지 않는 ‘악인’처럼 보이죠. 하지만 만약, 우리의 도덕과 사회적 행동이 숭고한 이념이 아니라, 수백만 년에 걸쳐 유전자에 각인된 냉정한 생존 전략의 결과라면 어떨까요?

저는 인간 사회의 보이지 않는 게임 규칙을 해독하는 진화 게임 이론가입니다. 저는 리처드 도킨스(Richard Dawkins)의 눈을 빌려, 우리의 모든 행동 기저에 깔린 이기적 유전자의 계산법을 들여다봅니다. 오늘 우리는, ‘배신’이 단기적으로 유리해 보임에도 불구하고, 왜 인류가 결국 ‘관용적인 협력’을 선택하도록 진화했는지, 그 놀라운 비밀을 ‘진화적으로 안정된 전략(Evolutionarily Stable Strategy, ESS)’이라는 개념을 통해 파헤쳐 볼 것입니다.

매파와 비둘기파의 세상: 최초의 게임

ESS의 개념을 이해하기 위해, 리처드 도킨스가 그의 저서 '이기적 유전자'에서 소개한 간단한 사고 실험을 살펴보겠습니다. 여기에는 두 종류의 개체군만 존재합니다.

• 매파 (Hawks): 항상 맹렬하게 싸운다. 이기면 큰 보상을 얻지만, 지면 심각한 부상을 입는다.
• 비둘기파 (Doves): 싸움을 피하고 위협만 하다가, 상대가 공격하면 도망친다. 부상을 입지는 않지만, 매파를 만나면 항상 패배한다.

만약 세상이 비둘기파로만 가득하다면 어떻게 될까요? 평화로워 보이지만, 단 한 마리의 공격적인 매파 돌연변이가 나타나는 순간, 그 매파는 싸우지 않고 도망치는 비둘기들을 손쉽게 제압하며 모든 자원을 독차지하고 번성할 것입니다. 반대로, 세상이 매파로만 가득하다면, 모두가 끊임없이 싸우다 심각한 부상을 입고 공멸의 길을 걷게 됩니다. 이 틈을 타, 싸움을 피하는 비둘기파가 오히려 생존에 유리해질 수 있습니다.

결국, 순수한 매파나 순수한 비둘기파 전략은 다른 전략의 침입에 취약합니다. 진화의 게임 속에서 안정적으로 살아남을 수 없는 것이죠. 존 메이너드 스미스는 이러한 불안정한 전략들을 대체하고 개체군 내에서 우위를 점하게 되는 안정적인 전략을 바로 ‘진화적으로 안정된 전략(ESS)’이라고 정의했습니다(Nature, 1973).

개인에게 최선인 '배신'의 유혹과, 우리 모두에게 더 나은 '협력'의 딜레마. '죄수의 딜레마' 게임의 보상 구조를 보여주는 인포그래픽

최종 승자의 등장: ‘팃포탯(Tit-for-Tat)’ 전략

그렇다면 이 게임의 최종 승자는 누구일까요? 정치학자 로버트 액설로드는 ‘죄수의 딜레마’ 게임을 컴퓨터 시뮬레이션으로 반복 실행하여, 어떤 전략이 가장 높은 점수를 얻는지 알아보는 대회를 열었습니다. 전 세계의 전문가들이 제출한 수많은 복잡하고 교활한 전략들을 모두 물리치고, 최종적으로 우승한 것은 놀라울 정도로 단순한 전략이었습니다. 바로 ‘팃포탯(Tit-for-Tat)’입니다(The Journal of Conflict Resolution, 1980).

팃포탯 전략의 규칙은 단 두 가지입니다.

1. 첫수에는 무조건 협력한다.
2. 그다음부터는 바로 앞서 상대방이 했던 행동을 그대로 따라 한다.

이 단순한 전략이 왜 그토록 강력했을까요? 액설로드는 팃포탯이 성공한 이유를 다음과 같이 분석했습니다.

• 착하다 (Nice): 먼저 배신하지 않고 협력의 손을 내밀기 때문에, 불필요한 갈등을 일으키지 않습니다.
• 보복한다 (Retaliatory): 상대가 배신하면 즉시 다음 수에 보복하기 때문에, 상대가 나를 함부로 이용할 수 없게 만듭니다.
• 관용적이다 (Forgiving): 상대가 배신을 멈추고 다시 협력하면, 과거의 잘못을 묻지 않고 즉시 용서하고 다시 협력합니다. 이 때문에 끝없는 보복의 악순환에 빠지지 않습니다.
• 명확하다 (Clear): 전략이 매우 단순하여 상대방이 쉽게 파악하고 대응할 수 있습니다.

팃포탯은, 장기적인 관계에서는 ‘조건 없는 관용’이나 ‘맹목적인 공격’보다, ‘기본적으로 신뢰하되, 배신은 응징하고, 다시 돌아오면 용서하는’ 전략이 가장 안정적으로 살아남는다는 것을 수학적으로 증명한 것입니다(기초교양교육연구, 2017).

먼저 손을 내밀고, 뿌리치면 거두었다가, 다시 내밀면 잡아주는 것. 이것이 바로 진화가 찾아낸 가장 안정적인 관계의 기술이다. 팃포탯 전략의 '선 협력, 후 보복, 그리고 용서'의 과정을 보여주는 애니메이션 시퀀스

신뢰, 평판, 정의는 어디에서 오는가?

ESS와 팃포탯의 놀라운 통찰은, 우리의 ‘도덕’이라고 불리는 많은 것들이 사실은 이기적 유전자가 장기적인 생존을 위해 선택한 가장 안정적인 전략의 산물일 수 있다는 점입니다. 우리가 ‘신뢰’를 중요하게 여기고, ‘평판’을 관리하며, 배신자를 응징하는 ‘정의’ 시스템을 만든 것은, 그것이 우리 공동체가 장기적으로 번영하는 데 가장 유리한 ESS이기 때문일 수 있습니다.

이 관점은 당신의 인간관계나 비즈니스 전략을 점검하는 강력한 도구가 될 수 있습니다.

• 당신의 관계는 ESS인가?: 당신은 관계에서 너무 ‘비둘기파’처럼 양보만 하다가 이용당하고 있지는 않습니까? 혹은 너무 ‘매파’처럼 공격적이어서 장기적인 협력 관계를 모두 망치고 있지는 않습니까?
• 당신의 비즈니스는 ESS인가?: 단기적인 이익을 위해 고객이나 파트너를 속이는 전략은 결코 ESS가 될 수 없습니다. 장기적으로는 신뢰를 기반으로 먼저 협력하고, 약속을 어기면 거래를 끊되, 다시 신뢰를 보이면 협력하는 ‘팃포탯’ 전략을 가진 기업만이 시장에서 살아남을 수 있습니다.

"우리는 유전자에 의해 만들어진 생존 기계다." - 리처드 도킨스

도킨스의 말은 차갑게 들릴지 모릅니다. 하지만 그 속에는 역설적인 희망이 담겨 있습니다. 이기적인 유전자의 계산이, 놀랍게도 우리에게 ‘협력’과 ‘신뢰’, 그리고 ‘관용’의 가치를 가르쳐주고 있기 때문입니다. 선과 악의 숭고한 이념을 넘어, 진화의 게임이 증명해 낸 가장 안정적인 생존 전략은, 결국 서로를 믿고 함께 살아가는 것이었습니다.

당신의 삶이라는 게임에서, 당신은 어떤 전략을 선택하고 있습니까? 당신의 선택이 과연 수많은 상호작용 속에서도 끝까지 살아남을 수 있는 ‘진화적으로 안정된 전략’인지, 오늘 한번 냉정하게 점검해 보시길 바랍니다.

자주 묻는 질문(FAQ)

진화적으로 안정된 전략(ESS)이 정확히 무엇인가요?

ESS는 존 메이너드 스미스가 제안한 개념으로, 어떤 개체군 내의 대부분의 구성원들이 채택하고 있을 때, 소수의 다른 돌연변이 전략이 침입하여 퍼져나갈 수 없는 안정적인 전략을 의미합니다. 즉, 진화의 게임에서 장기적으로 살아남는 균형 상태의 전략입니다.

이기적 유전자 이론은 인간이 본질적으로 이기적이라는 뜻인가요?

아닙니다. 리처드 도킨스가 말한 '이기적'의 주체는 인간 개체가 아니라 '유전자'입니다. 유전자는 자신의 복제를 최우선 목표로 하지만, 그 목표를 달성하기 위해 때로는 개체 수준에서 이타적인 행동(예: 자식 돌봄, 협력)을 하도록 만드는 전략을 선택할 수 있다는 것이 이론의 핵심입니다.

팃포탯(Tit-for-Tat) 전략에 약점은 없나요?

네, 있습니다. 예를 들어, 두 명의 팃포탯 플레이어가 서로의 행동을 오해하여 한 번 배신이 시작되면, 끝없는 보복의 악순환에 빠질 수 있습니다. 이를 보완하기 위해, 가끔 상대의 배신을 눈감아주는 '관용적인 팃포탯(Tit-for-Two-Tats)'과 같은 더 발전된 전략들이 연구되기도 했습니다.

이 이론은 너무 인간 사회를 단순화하는 것 아닌가요?

맞습니다. 게임 이론 모델은 복잡한 인간 사회의 모든 변수를 담을 수는 없는 단순화된 모델입니다. 하지만 이 모델은 인간의 협력과 갈등의 근원에 대한 강력한 통찰을 제공하며, 우리가 왜 특정 방식으로 행동하도록 진화했는지 그 근본적인 구조를 이해하는 데 큰 도움을 줍니다.

일상에서 팃포탯 전략을 어떻게 적용할 수 있을까요?

새로운 관계를 시작할 때는 항상 먼저 신뢰하고 협력적인 태도를 보이세요(Be Nice). 만약 상대방이 당신의 신뢰를 저버린다면, 그 행동에 대해 명확하게 대응하고 거리를 두세요(Be Retaliatory). 하지만 상대가 다시 관계 개선의 의지를 보인다면, 과거에 얽매이지 말고 다시 협력할 기회를 주세요(Be Forgiving).