천재 심리학자들의 고백: 왜 똑똑한 전문가일수록 어처구니없는 실수를 반복할까?

가장 날카로운 지성 속에 숨어있는 가장 위험한 함정. 생각에 잠긴 한 노학자의 얼굴. 절반은 선명하지만 나머지 절반은 통계 데이터처럼 흩어지며, 명석한 지성과 불완전한 직관 사이의 내적 갈등을 상징합니다.

어느 통계학 교수의 충격적인 고백

이 이야기는 어느 저명한 통계학 교수의 개인적이고, 조금은 부끄러운 고백에서 시작됩니다. 바로 저, 대니얼 카너먼의 이야기입니다.

저는 수년간 대학에서 통계학을 가르쳤고, 당연히 표본 크기를 계산하는 방법도 알고 있었습니다. 하지만 정작 제 자신의 연구를 설계할 때는, 단 한 번도 계산을 통해 표본 크기를 결정한 적이 없었죠. 동료들처럼, 저 역시 전통과 직관을 믿었습니다. 그 결과는 참담했습니다. 제 연구는 종종 말이 안 되는 이상한 결과들을 낳았고, 저는 그 이유를 몰라 머리를 싸매야 했습니다.

그러던 어느 날, 한 논문이 제 뒤통수를 세게 내리쳤습니다. 심리학자들이 흔히 선택하는 표본 크기가 너무 작아서, 자신들의 가설이 사실이더라도 그것을 증명하지 못할 위험이 50%에 달한다는 충격적인 내용이었습니다! 제정신인 연구자라면 결코 받아들일 수 없는 도박이죠. 그 순간 깨달았습니다. 저의 이상한 결과들은 연구의 오류가 아니라, 제 연구 방법 자체가 만들어낸 '통계적 착시'였다는 것을요.

저는 바보였을까요? 아니면, 대다수의 바보 중 한 명이었을까요?

천재들은 정말로 바보였을까?

저는 동료 아모스 트버스키와 함께 이 질문에 대한 답을 찾기로 했습니다. 우리는 통계학 교과서 저자들을 포함한 당대 최고의 수학 심리학회 전문가들에게 현실적인 연구 상황을 제시하고, 어떻게 결정을 내리는지 관찰했습니다. 결과는 명확했습니다. 저만 바보가 아니었습니다.

제가 저질렀던 모든 실수를, 압도적인 대다수의 전문가들이 똑같이 저지르고 있었습니다. 그들 역시 표본 크기의 중요성에 충분한 주의를 기울이지 않았습니다. 지식으로 무장한 전문가들조차, 자신의 강력한 '직관' 앞에서는 속수무책이었던 겁니다.

"무작위 표본 추출에 대한 직관은 '소수의 법칙'을 만족시키는 것으로 보인다. 이는 '큰 수의 법칙'이 작은 수에도 적용된다고 주장하는 법칙이다."

– Tversky & Kahneman (1971)

우리는 이 현상을 '소수의 법칙에 대한 믿음'이라 이름 붙였습니다. 작은 샘플이 마치 전체를 완벽하게 대표할 것이라고 믿는, 인간의 깊고도 치명적인 착각 말입니다.

과학의 지반이 흔들리다. 수많은 심리학 연구들의 재현 성공률을 나타내는 데이터 시각화. 성공적으로 재현된 연구(녹색 선)보다 실패한 연구(붉은 선)가 훨씬 더 많아 '재현성 위기'의 심각성을 보여줍니다.

과학계를 뒤흔든 '재현성 위기'의 서막

저와 아모스의 발견은, 수십 년 후 과학계를 강타할 거대한 지진의 작은 전조에 불과했습니다. 바로 '재현성 위기(Replication Crisis)'입니다.

과학의 가장 기본적인 원리는 '재현 가능성'입니다. A라는 연구가 특정한 결과를 냈다면, 다른 과학자가 똑같은 방법으로 실험했을 때 비슷한 결과가 나와야 합니다. 하지만 심리학계를 중심으로 과거의 유명한 연구들을 다시 재현해보는 거대한 프로젝트가 시작되자, 충격적인 민낯이 드러났습니다.

단 39%. 이것이 과학의 현주소였다.

2015년, 세계적인 학술지 '사이언스(Science)'에 실린 한 대규모 연구는 심리학계에 핵폭탄을 터뜨렸습니다. 100개의 주요 심리학 연구를 그대로 재현해 본 결과, 오직 39%만이 성공적으로 재현되었다는 것입니다(Open Science Collaboration, 2015). 또 다른 권위지 '네이처(Nature)'는 이 결과를 두고 "심리학 연구의 절반 이상이 재현 테스트에 실패했다"고 보도하며 위기의 심각성을 알렸습니다(Nature, 2015).

이것은 일부 과학자들의 부정행위나 게으름의 문제가 아니었습니다. 이는 카너먼과 트버스키가 수십 년 전에 경고했던, 인간의 뇌에 깊이 뿌리박힌 '직관적 통계의 함정'이 만들어낸, 예견된 재앙이었습니다.

전문가의 직관 vs 통계적 사고

구분	결함 있는 직관 (소수의 법칙)	올바른 통계적 사고
표본에 대한 믿음	작은 표본도 전체를 대표한다고 믿는다.	오직 충분히 큰 표본만이 신뢰할 수 있다고 본다.
결과 해석	우연한 결과를 의미 있는 패턴으로 해석한다.	결과가 통계적 우연일 가능성을 항상 계산한다.
의사 결정 방식	그럴듯한 '이야기'와 '인과관계'에 의존한다.	인상을 배제하고, 계산과 데이터에 의존한다.

우리는 왜 진실보다 '이야기'를 사랑할까?

왜 똑똑한 전문가들조차 이런 명백한 함정에 빠지는 걸까요? 우리 뇌는 본능적으로 세상을 이해하기 쉬운 '이야기'로 만들려는 경향이 있기 때문입니다. 우리는 무작위적인 우연보다 명확한 인과관계를 선호합니다. 작은 표본에서 나타난 극적인 결과는 '획기적인 발견'이라는 아주 매력적인 이야기를 만들어내지만, "이 결과는 표본이 작아 우연일 가능성이 높습니다"라는 말은 아무런 감흥도 주지 못합니다.

전문가들은 이 '이야기'의 유혹에 넘어가 자신의 가설을 증명해 줄 것 같은 작은 증거에 과도한 의미를 부여했고, 그 결과 과학이라는 거대한 건축물의 많은 부분이 모래 위에 지어졌음이 드러나고 있는 것입니다.

핵심 내용 요약

1. 천재들의 고백: 노벨상 수상자 대니얼 카너먼조차 과거 자신의 연구에서 표본 크기를 고려하지 않는 치명적인 실수를 저질렀으며, 이는 대부분의 전문가들도 마찬가지였습니다.
2. 재현성 위기의 진실: 과거 심리학 연구의 절반 이상이 재현에 실패한 이유는, 연구자들이 '소수의 법칙', 즉 작은 표본의 결과를 맹신하는 인지적 편향에 빠졌기 때문입니다.
3. 직관의 함정: 우리의 뇌는 진실보다 그럴듯한 '이야기'를 선호하기 때문에, 통계적 사실을 무시하고 우연한 결과에 과도한 의미를 부여하는 경향이 있습니다.

이 이야기는 단순히 과학자들만의 이야기가 아닙니다. 소수의 사례를 보고 성급하게 일반화하고, 몇 번의 성공을 보고 한 사람의 능력을 과대평가하며, 그럴듯한 이야기에 빠져 합리적인 의심을 거두는 것. 이것은 우리 모두가 매일 저지르는 실수입니다. 천재들의 고백은 우리에게 한 가지 중요한 교훈을 줍니다. 가장 경계해야 할 것은 외부의 속임수가 아니라, 바로 내 머릿속의 가장 그럴듯하고 확신에 찬 '직관'일지도 모른다는 사실을 말입니다.