챗봇형 언어 모델과 대화해 본 사람들 사이에서 "이건 진짜다", "뭔가 있긴 하다, 직접 겪어봤다" 같은 반응이 흔해졌다. 소프트웨어 비즈니스에서 언어·확산 모델의 활용을 연구해 온 한 비평가는 이 반응이 이전의 기술 거품에서 나오던 열광과 결이 다르다는 점에 주목한다. 경외와 불신, 그리고 약간의 두려움이 뒤섞인 이 말투는 오히려 심령술사에게 속은 피해자의 증언에 가깝다는 것이다. 그가 제시하는 가설은 대형 언어 모델(LLM)이 보여주는 '지능'이 실제 추론이 아니라, 점술사의 콜드 리딩과 같은 심리적 착시일 수 있다는 것이다.
왜 착시라고 보는가
출발점은 단순하다. LLM은 언어 토큰에 대한 수학적 모델이며, 텍스트를 입력하면 통계적으로 그럴듯한 응답을 돌려준다. 동물이나 사람이 사고하고 추론할 때 쓰는 메커니즘을 의미 있게 공유하지 않으며, 지금까지 거의 모든 AI 연구자와 공급사가 이 모델들이 '생각하지 않는다'고 반복해 강조해 왔다. 그런데도 많은 이들이 모델이 지능적이라고 확신한다. 만약 그 지능이 실재한다면 그것을 설명할 내재적 기제가 없어 완전히 미스터리로 남는다. 저자가 자신의 책 제목을 '지능의 착각(The Intelligence Illusion)'으로 붙인 이유가 여기에 있다.
핵심 연결 고리는 포러 효과(Forer effect)다. 점술사는 구체적으로 들리지만 실제로는 특정 집단 누구에게나 통계적으로 들어맞는 '검증 문장'을 던져, 마치 상대의 마음을 읽는 듯한 인상을 만든다. 챗봇 역시 당신과 당신의 작업에 특별히 관여하는 듯한 인상을 주지만, 그 인상은 통계적 속임수에 지나지 않는다는 것이 저자의 주장이다. 이 아이디어는 챗봇 답변에 포러식 문장이 얼마나 흔한지를 다룬 테런스 에덴의 글에서 촉발됐다고 한다.
점술 사기의 구조와 인간의 편향
저자는 심령술 공연이 실제 낭독이 시작되기 훨씬 전부터 작동한다고 설명한다. 회의적인 사람은 애초에 참석하지 않아 관객이 스스로 걸러지고(1단계), 조명과 사전 조사로 무대가 준비되며(2단계), 통계적으로 그럴듯한 말로 특정 인구층을 좁히고(3단계), 반응한 '마크'를 시험한 뒤(4단계), 확신에 찬 어조로 던지는 질문들로 주관적 검증의 고리를 돌린다(5단계). 그 끝에서 마크는 초자연적 정확성을 경험했다고 믿게 된다(6단계).
이 모든 것을 떠받치는 것이 주관적 검증(subjective validation)이라는 인지 편향이다. 사람은 어떤 진술이 자신에게 개인적 의미를 갖기만 하면 그것을 사실로 여기는 경향이 있다. 의미를 찾으려는 열망이 클수록, 화자의 능력을 믿을수록 효과는 강해진다. 주목할 점은 이 취약성이 지능과 무관하다는 것이다. 오히려 스스로 똑똑하다고 여기는 사람일수록 자신이 속지 않는다고 믿기에, 술사의 '능력'을 합리화하는 데 창의력을 동원하다가 더 큰 마크가 되곤 한다. 심지어 술사 자신도 속을 수 있다. 잘못 작성한 별점에도 의뢰인이 '놀랍도록 정확하다'는 반응을 보이자 자신을 뛰어난 콜드 리더로 자각하게 된 점성술사 사례처럼, 사기는 무의식적으로 자기 강화된다.
실무자가 새겨둘 지점
이 틀을 챗봇에 적용하면, AI에 회의적인 사람은 챗봇을 덜 쓰므로 사용자층 자체가 초기 수용자·기술 애호가·AGI 신봉자처럼 덜 비판적인 쪽으로 기운다. 여기에 기술을 둘러싼 과대 선전이 기대치를 미리 부풀리고, '아직 초기 단계'나 '환각(hallucination)' 같은 경고는 봇을 의인화하는 동시에 잦은 실패가 드러날 때마다 손쉬운 변명을 제공한다. 실무 관점에서 이는 모델 평가 방식에 대한 경고로 읽힌다. 응답의 유창함과 개인화된 어조를 실제 추론 능력의 증거로 착각하기 쉽고, '내게 딱 맞는 답'이라는 느낌은 객관적 정확도가 아니라 주관적 검증의 산물일 수 있기 때문이다. 출력을 평가할 때 나의 인상 대신 검증 가능한 사실과 재현 가능한 기준으로 판단하려는 규율이 필요하다.
다만 이 논의는 실증적으로 입증된 결론이 아니라 착시의 기제를 설명하려는 가설이자 유비라는 점을 분명히 해야 한다. 저자는 상당수 활용 사례가 사이비 과학에 가까워 보인다고까지 말하지만, 그 강한 표현이 곧 모델의 실용적 유용성 전부를 부정하는 근거가 되지는 않는다. 또한 점술이 의도적 기만인 반면 언어 모델은 그런 의도가 없는 자동화라는 차이도 있다. 그럼에도 이 관점은 '왜 이렇게 똑똑해 보이는가'라는 질문에, 모델의 능력이 아니라 그것을 마주하는 우리 마음의 습성에서 답의 상당 부분을 찾으라고 요구한다는 점에서 곱씹어 볼 가치가 있다.