온라인 여론조사가 확산되면서 데이터 품질을 위협하는 가장 시급한 문제로 '가짜 응답자(bogus respondents)'가 지목되고 있다. 이들은 질문에 성실히 답할 의사 없이 설문을 최대한 빨리 끝내고 보상만 챙기려는 응답자다. 미국 퓨리서치센터(Pew Research Center)가 2024년 11월 14~19일 미국 성인 1만1,114명을 대상으로 진행한 대규모 옵트인 설문을 통해 이 문제를 정면으로 다뤘다. 결론부터 말하면, 가짜 응답자를 걸러내면 데이터 품질은 대체로 개선되지만 어떤 단일 기법도 문제를 확실하게 해결하지는 못했다.
먼저 개념을 정리할 필요가 있다. 가짜 응답자는 온라인 광고, 자가 등록, 이메일 목록 등으로 응답자를 모집하는 옵트인 방식에서 주로 나타나는 문제다. 퓨리서치의 '아메리칸 트렌드 패널'처럼 오프라인 무작위 표집으로 구성한 확률 기반 패널은 이 위협에서 대체로 자유롭다. 문제는 실무에서 흔히 쓰이는 기본 점검 방식들이 잘 작동하지 않는다는 점이다. 설문을 지나치게 빨리 끝내는 '스피더'나 항상 같은 보기를 고르는 '직선 응답' 탐지는 가짜 응답자 대부분을 놓치며, 주의력 점검용 '함정 질문' 역시 가짜를 잡지 못할 뿐 아니라 정상 응답자를 혼란시켜 오탐(false positive)을 유발하기도 한다.
세 가지 선별 기법과 그 결과
연구진은 세 가지 접근을 비교했다. 첫째는 함정 질문이다. 성실한 응답자라면 결코 '예'라고 답할 수 없는 네 가지 활동 경험을 물어, 하나라도 '예'라고 답하면 가짜로 분류하는 방식이다. 이 기준으로 전체의 18%인 1,963건이 걸러졌다. 둘째는 클라우드리서치(CloudResearch)의 자체 사전선별 시스템 '센트리(Sentry)'다. 설문 시작 전 짧은 질문과 기기·위치·브라우저 메타데이터 검사를 통해 문제 행동을 탐지하는데, 전체 완료 건의 절반에 가까운 5,369건이 하나 이상의 검사에서 탈락했다. 셋째는 응답자의 이름과 주소를 상업용 유권자 명부와 대조하는 방식이다. 응답자의 49%가 연락처 제공에 동의했고 그중 73%가 타깃스마트(TargetSmart) 명부와 일치해, 전체 표본의 36%인 3,977건만 유효로 남고 64%가 걸러졌다.
주목할 점은 세 기법이 걸러내는 대상의 성격이 서로 크게 달랐다는 것이다. 함정 질문과 사전선별은 18~29세나 히스패닉이라고 주장한 응답자를 특히 많이 걸러냈다. 다만 이는 해당 집단이 불성실하다는 뜻이 아니라, 특정 집단을 노린 설문에 걸리려고 가짜 응답자들이 그 정체성을 사칭하는 경향이 반영된 것이다. 실제로 함정 질문은 히스패닉을 백인보다 22%포인트, 사전선별은 19%포인트 더 많이 걸러냈다. 반면 유권자 명부 대조는 성격이 달랐다. 여기서 탈락하는 이유는 프라이버시 우려나 미등록처럼 악의 없는 경우가 많아, 히스패닉과 백인의 탈락률 차이는 6%포인트에 그쳤다.
유권자 명부 대조의 역설
데이터 품질은 세 지표로 측정했다. 무엇을 묻든 '예'라고 답하는 '예스 편향(yea-saying)', 개방형 응답의 질, 그리고 보기 순서 효과다. 이 가운데 예스 편향 결과가 특히 시사적이다. 선별 전에는 전체 성인의 7%, 18~29세의 10%, 히스패닉의 13%가 15개 예/아니오 질문 중 10개 이상에 '예'라고 답했다. 함정 질문을 적용하자 이 비율은 전체 1%로 사실상 사라졌고, 사전선별도 전체 2% 수준으로 크게 낮췄다.
그런데 유권자 명부 대조는 오히려 문제를 악화시켰다. 전체 비율이 9%로 소폭 올랐고, 청년층과 히스패닉은 각각 15%, 17%로 상승했다. 원인은 두 가지다. 첫째, 연락처 제공을 거부한 절반가량의 응답자가 오히려 가짜일 가능성이 낮았다. 거부한 쪽은 3%만 예스 편향을 보인 반면 동의한 쪽은 12%였다. 둘째, 상당수 가짜 응답자가 자기 것이 아닐 수도 있는 정확한 연락처를 제시해 명부 대조를 통과했다. 결국 일부 가짜를 걸러낸 효과가, 정직하지만 정보 제공을 꺼린 유효 응답자를 대거 잃은 손실을 상쇄하지 못한 것이다.
한국의 데이터·리서치 실무자에게 이 연구가 주는 함의는 분명하다. 미등록 인구가 명부에서 빠지는 미국식 유권자 대조를 그대로 이식하긴 어렵지만, '연락처 제공 동의 여부'를 품질 신호로 오해하거나 단일 필터에 과신하는 위험은 그대로 적용된다. 어떤 기법도 완전하지 않은 이상, 여러 지표를 교차 검증하고 선별 전후 추정치가 어떻게 달라지는지 함께 살피는 태도가 현실적인 대안이다. 특히 선별 과정이 특정 인구집단을 통째로 과소대표하게 만들면, 표본 정제가 오히려 편향을 키울 수 있다는 점을 잊지 말아야 한다.