'무능할수록 자신감 넘친다'는 더닝 크루거 효과, 사실은 통계 착시일 수 있습니다

개발자 커뮤니티에서 누군가 근거 없이 자신만만한 모습을 보이면 어김없이 소환되는 이론이 있죠. 바로 "능력이 부족한 사람일수록 자신을 과대평가한다"는 더닝 크루거 효과인데요. '우매함의 봉우리'를 지나 '절망의 계곡'으로 떨어지는 그 유명한 그래프, 다들 한 번쯤 보셨을 거예요. 그런데 캐나다 맥길대학교의 과학 대중화 기관인 OSS에서 이 효과가 실제 심리 현상이 아니라, 데이터를 다루는 방식이 만들어낸 '통계적 착시'일 수 있다는 분석을 내놨어요. 우리가 밈처럼 소비해 온 이론의 근간이 흔들리는 이야기라 한번 자세히 들여다볼 만해요.

원래 연구는 어떤 내용이었나

먼저 원래 연구부터 볼게요. 1999년 코넬대의 데이비드 더닝과 저스틴 크루거는 학생들에게 유머, 문법, 논리 시험을 치르게 한 뒤, 자기 점수가 상위 몇 퍼센트쯤 될지 스스로 예측하게 했어요. 결과를 보니 하위 25% 그룹은 자기 실력을 실제보다 훨씬 높게 평가했고, 반대로 상위 그룹은 오히려 자신을 약간 낮춰 봤죠. 여기서 "무능한 사람은 자신이 무능하다는 사실조차 모른다"는 결론이 나왔고, 이게 20년 넘게 심리학 교과서와 인터넷 밈을 지배해 온 거예요.

무작위 데이터에서도 똑같은 그래프가 나온다

그런데 문제는 이 데이터를 '어떻게 그래프로 그렸느냐'에 있어요. 원논문은 실제 점수로 참가자를 4개 그룹(사분위)으로 나누고, 각 그룹의 평균 자기 평가 점수를 이어서 그렸는데요. 이런 방식으로 그리면 아무 의미 없는 무작위 데이터에서도 똑같은 모양의 그래프가 나온다는 게 핵심 반박이에요. 실제로 에드워드 누퍼(Edward Nuhfer) 연구팀은 난수로 만든 가짜 '시험 점수'와 가짜 '자기 평가' 데이터를 같은 방식으로 그려봤는데, 더닝 크루거 그래프가 그대로 재현됐거든요. 사람의 심리가 전혀 개입하지 않은 순수한 랜덤 데이터인데도요.

왜 이런 일이 생기냐면, 두 가지 통계 함정이 겹쳐 있기 때문이에요. 첫째는 '평균으로의 회귀'인데요. 이게 뭐냐면, 시험 점수에는 실력뿐 아니라 그날의 운도 섞여 있어서, 극단적으로 낮은 점수를 받은 그룹에는 '운이 나빴던 사람들'이 몰려 있게 돼요. 이 사람들의 다른 측정값, 그러니까 자기 평가는 자연스럽게 평균 쪽으로 끌려가니 그래프상으로는 과대평가처럼 보이는 거죠. 둘째는 '평균 이상 효과'예요. 사람들은 실력과 무관하게 대부분 자신을 "평균보다 조금 위"라고 평가하는 경향이 있거든요. 그래서 자기 평가 점수는 실력이 어떻든 60~70점 언저리에 몰리는데, 실제 점수는 0점부터 100점까지 쫙 펼쳐져 있으니 하위 그룹은 과대평가, 상위 그룹은 과소평가처럼 '보이는' 그래프가 자동으로 완성되는 거예요.

제대로 분석하면 어떻게 될까

그럼 통계적으로 올바른 방법으로 다시 분석하면 어떨까요? 누퍼 팀이 대학 신입생부터 교수까지 폭넓은 집단을 제대로 된 측정 도구로 분석해 보니, 자기 평가의 정확도는 실력 수준과 관계없이 대체로 비슷했다고 해요. 실력이 낮은 사람들만 유독 자기 인식이 망가져 있는 게 아니었다는 거죠. 자신을 심하게 과대평가하는 사람은 어느 실력 구간에나 소수 존재했을 뿐이고요. 물론 이게 "더닝 크루거 효과는 100% 허구"라는 최종 판결은 아니에요. 학계에서는 여전히 논쟁이 진행 중이고, 분석 방식의 한계를 인정하면서도 효과 자체는 존재한다고 보는 연구자들도 있거든요. 다만 우리가 아는 그 극적인 그래프가 상당 부분 통계 착시 위에 서 있다는 점은 분명해졌어요.

재미있는 사실 하나 더 짚자면, '우매함의 봉우리'가 그려진 그 산 모양 그래프는 원논문 어디에도 없어요. 인터넷에서 만들어져 퍼진 2차 창작물에 가깝죠. 심리학계는 지난 10여 년간 유명한 연구들이 재현에 실패하는 '재현성 위기'를 겪고 있는데요. 파워 포즈, 자아 고갈처럼 밈으로 소비되던 이론들이 줄줄이 흔들렸고, 더닝 크루거 효과도 그 검증대에 오른 셈이에요.

개발자에게 주는 교훈

이 이야기의 교훈은 두 갈래예요. 하나는 데이터를 다루는 사람으로서의 교훈인데요. 사분위로 묶어 평균 내기, 극단값 그룹만 추적하기 같은 분석은 실무에서도 정말 자주 하거든요. "지표가 가장 나빴던 서버에 조치를 했더니 좋아졌다", "성적이 낮은 유저 그룹에 개입했더니 개선됐다" 같은 결론이 사실은 평균 회귀만으로도 설명될 수 있다는 걸 기억해 두면, A/B 테스트나 지표 분석에서 헛다리를 짚을 확률이 확 줄어요. 다른 하나는 사람에 대한 교훈이에요. 자신만만한 동료를 보고 "더닝 크루거네"라고 단정하는 것 자체가 과학적 근거가 약한 낙인일 수 있다는 거죠.

한 줄로 정리하면, "무능할수록 자신감이 넘친다"는 통념은 데이터 시각화 방식이 만든 착시일 가능성이 높다는 겁니다. 여러분은 어떻게 생각하세요? 그럴듯한 그래프에 설득당했다가 나중에 통계 함정이었다는 걸 깨달은 경험, 있으신가요?