요즘 LLM 해석 가능성(interpretability) 연구에서 인기 있는 주제 중 하나가 “모델 내부를 들여다보면, 이 모델이 지금 참말을 하는지 거짓말을 하는지 알 수 있지 않을까?”라는 질문이거든요. 이른바 ‘진실 탐침(truth probe)’ 연구인데요. 최근 아벨 얀스마(Abel Jansma)라는 연구자가 이 접근법 전체에 근본적인 의문을 던지는 글을 올렸어요. 무기로 꺼내든 게 놀랍게도 1930년대 논리학, 바로 타르스키(Tarski)의 ‘진리 정의 불가능성 정리’입니다.
진실 탐침이 뭐냐면
먼저 탐침(probe)이 뭔지부터 짚고 갈게요. LLM이 문장을 처리할 때 내부에는 수천 차원짜리 벡터, 그러니까 활성값(activation)이 흐르는데요. 여기에 로지스틱 회귀 같은 아주 단순한 선형 분류기를 하나 얹어서 “이 문장은 참”, “이 문장은 거짓”을 맞히게 학습시키는 거예요. 신기하게도 이게 꽤 잘 맞습니다. 그래서 “활성 공간 안에 ‘진실의 방향’이라는 게 실제로 존재하는 것 아니냐”는 가설이 힘을 얻었어요. 참인 문장들은 벡터 공간에서 한쪽에, 거짓인 문장들은 반대쪽에 몰려 있다면, 그 방향 하나만 찾아내면 모델의 거짓말 탐지기를 공짜로 얻는 셈이니까요. 실제로 환각(hallucination, AI가 그럴듯한 거짓 정보를 지어내는 현상) 탐지에 이걸 써보려는 시도도 많았고요.
타르스키가 왜 여기서 나와요?
타르스키의 정리를 아주 거칠게 요약하면 이래요. “충분히 표현력이 있는 언어는 자기 자신의 ‘참’을 판정하는 장치를 내부에 가질 수 없다.” 유명한 거짓말쟁이 역설을 떠올리면 이해가 쉬운데요. “이 문장은 거짓이다”라는 문장은 참이라고 하면 거짓이 되고, 거짓이라고 하면 참이 되어버리죠. 타르스키는 이런 자기 참조 때문에, 한 시스템 안에서 그 시스템 전체의 진리를 판정하는 술어는 원리적으로 정의할 수 없다는 걸 증명했어요.
이걸 LLM에 적용하면 이렇게 됩니다. 만약 어떤 선형 탐침이 모델이 표현할 수 있는 모든 문장의 참/거짓을 정확히 읽어낸다고 가정해볼게요. 그러면 그 탐침 자체를 언급하는 문장을 만들 수 있어요. 예를 들어 “이 문장은 탐침에 의해 거짓으로 분류된다” 같은 문장이요. 탐침이 이걸 참이라고 판정하면 문장 내용상 거짓이어야 하고, 거짓이라고 판정하면 내용상 참이 되어버립니다. 모순이죠. 결론은 하나예요. ‘모든 문장에 대해 작동하는 완벽한 진실 탐침’은 데이터가 부족해서 어려운 게 아니라 논리적으로 불가능하다는 겁니다. 그러니까 탐침이 실제로 재고 있는 건 ‘진실’ 그 자체가 아니라, ‘그럴듯함’이나 ‘모델이 동의하는 정도’처럼 진실과 상관관계가 높은 다른 무언가일 수밖에 없다는 거예요.
이 논증을 어떻게 받아들여야 할까
여기서 중요한 포인트는, 이게 실험으로 반박하는 게 아니라 원리로 반박한다는 점이에요. 기존에도 탐침이 데이터셋을 바꾸면 성능이 떨어진다거나 부정문에서 헷갈린다거나 하는 경험적 한계는 보고돼 왔거든요. 그런데 이 글은 “아무리 데이터를 늘리고 기법을 다듬어도 넘을 수 없는 벽이 있다”고 말하는 겁니다. 물론 반론의 여지도 있어요. 실무에서 다루는 문장 대부분은 “서울은 한국의 수도다”처럼 자기 참조가 없는 평범한 문장이라, 이런 엣지 케이스가 실용성을 전부 무너뜨리는 건 아니라는 거죠. 다만 “탐침 점수 = 진실 여부”라고 믿고 시스템을 설계하면 안 된다는 경고로는 충분히 묵직합니다.
한국 개발자에게는
RAG 기반 서비스를 만들면서 환각 탐지 수단을 고민하는 팀이라면 새겨들을 만해요. 모델 내부 신호를 활용한 환각 탐지 기법이 논문과 오픈소스로 계속 나오고 있는데, 이걸 ‘진실 검출기’가 아니라 ‘신뢰도 힌트’ 정도로 자리매김해야 한다는 거죠. 탐침 점수가 낮으면 재검증 파이프라인을 태우는 식의 보조 신호로는 여전히 유용하지만, 그것만 믿고 외부 팩트체크를 생략하는 설계는 위험합니다.
정리하면, “진실은 벡터 공간의 한 방향이 아니다”라는 90년 된 논리학의 경고가 최신 AI 해석 연구에 그대로 적용된다는 이야기예요. 여러분은 어떻게 보시나요? 이런 원리적 한계에도 불구하고 탐침 기반 환각 탐지를 프로덕션에 쓸 수 있다고 보시나요, 아니면 결국 검색이나 지식 그래프 같은 외부 검증으로 가야 한다고 보시나요?
🔗 출처: Hacker News