매끄러워야 할 그래프가 갑자기 뚝 끊길 때
데이터를 그래프로 그려보면 대부분은 완만하게 이어져요. 그런데 가끔 특정 지점에서 값이 '뚝' 하고 계단처럼 끊기거나 한쪽으로 비정상적으로 쏠릴 때가 있어요. 이런 '의심스러운 단절(suspicious discontinuity)'은 거의 항상 뭔가를 숨기고 있어요. 보통은 그 지점에 '경계선(threshold)'이 있고, 사람이나 시스템이 그 경계에 맞춰 행동을 바꾸고 있다는 신호거든요. 자연스럽게 흘러야 할 데이터가 인위적으로 꺾였다는 건, 누군가의 '인센티브(이득을 노린 동기)'가 개입했다는 뜻이에요.
대표적인 예시들
가장 유명한 예가 마라톤 기록이에요. 완주 시간 분포를 그려보면 3시간, 4시간 같은 '딱 떨어지는 숫자' 바로 아래에 기록이 비정상적으로 몰려요. 왜냐면 결승선 앞에서 "4시간은 넘기지 말자!" 하고 사람들이 막판에 이를 악물고 달리거든요. 또 다른 예는 각종 제도의 '소득 기준선'이에요. 어떤 복지 혜택이 연봉 얼마 이하까지만 나온다고 하면, 신고 소득이 그 선 바로 아래에 뭉텅이로 쌓여요. 한 끗 차이로 혜택을 통째로 잃지 않으려는 거죠. 시험 점수도 마찬가지예요. 합격선이 60점이면 채점 결과에서 58~59점은 이상하게 적고 60점이 갑자기 많아져요. 채점자가 아슬아슬한 학생을 합격선 위로 슬쩍 올려주기 때문이에요. 심지어 병원 데이터에서도 이런 게 보이는데, 입원 기간이나 기록 시점이 보험·정산 기준일을 경계로 부자연스럽게 갈리기도 해요.
단절은 '여기서 뭔가 벌어진다'는 표지판
이 글의 핵심 통찰은, 이런 단절이 단순한 통계 잡음이 아니라 '제도가 사람 행동을 어떻게 비트는지' 보여주는 표지판이라는 거예요. 경계선을 그어두면, 사람은 그 경계에 맞춰 최적화해요. 그게 정직한 노력일 수도 있지만(마라톤 막판 스퍼트), 데이터를 조작하거나 제도를 악용하는 형태일 수도 있어요(소득 축소 신고). 그래서 데이터에서 매끄럽지 않은 점프를 발견하면, "왜 하필 여기서 끊겼지?"를 파고드는 게 문제의 본질로 가는 지름길이 돼요. 단절은 버그일 수도, 부정일 수도, 잘못 설계된 인센티브일 수도 있거든요.
우리가 만드는 시스템에도 똑같이 적용돼요
이건 개발자한테 정말 실용적인 교훈이에요. 우리가 만드는 시스템에도 곳곳에 경계선이 있어요. 무료 요금제와 유료 요금제의 사용량 한도, 인사 평가의 등급 비율, A/B 테스트의 판정 기준, 로그 샘플링 비율 같은 것들요. 이런 경계를 만들면 사용자도, 동료도, 심지어 자동화 시스템도 그 선에 맞춰 행동을 바꿔요. 예를 들어 평가 등급에 강제 비율을 두면, 매니저들이 점수를 경계선 근처로 몰아넣는 일이 생기죠. 그러니 지표를 모니터링할 때 평균값만 보지 말고 '분포'를 그려보는 습관이 중요해요. 분포에서 부자연스러운 봉우리나 절벽이 보이면, 그건 누군가 우리 지표를 '게이밍(원래 의도와 다르게 수치만 맞추는 것)'하고 있다는 단서일 수 있어요. "측정하는 순간 그 지표는 망가진다(굿하트의 법칙)"는 말이 딱 이 얘기예요.
마무리
한 줄로 정리하면, 데이터의 매끄럽지 않은 단절은 거의 항상 '경계선 뒤에 숨은 인센티브'를 가리키는 화살표예요. 평균이나 합계만 보던 습관을 잠깐 멈추고 분포 그래프를 그려보면, 평소 안 보이던 진실이 튀어나오곤 해요. 여러분의 서비스 지표 중에 '딱 떨어지는 숫자' 근처에서 부자연스럽게 쏠리는 데이터, 혹시 짚이는 게 있으신가요?
🔗 출처: Hacker News