거대언어모델(LLM)은 입력 텍스트를 고차원 임베딩 공간의 벡터로 바꾼다. 흥미로운 발견 중 하나는 성별, 감정, 수도 이름 같은 자연스러운 개념들이 이 공간에서 특정 '방향'에 대응한다는 점이다. 예컨대 어떤 문장이 '남성(Male)'이라는 개념을 얼마나 담고 있는지는 그 문장의 임베딩과 '남성' 방향 벡터 사이의 각도로 정량화할 수 있다. 이를 선형 표현 가설(Linear Representation Hypothesis)이라 부른다. 과학자 아벨 얀스마(Abel Jansma)는 최근 이 가설의 대담한 확장판, 즉 '진실(truth)'에도 대응하는 방향이 존재한다는 주장을 접했다고 밝히며, 그런 보편적 '진실 탐침(truth probe)'은 원리상 존재할 수 없다고 논증했다.
진실 방향이라는 발상은 AI 안전 연구에서 특히 매력적이다. 어떤 텍스트가 참인지 판별할 수 있을 뿐 아니라, AI 시스템이 진실을 말하는지 아니면 기만하는지를 임베딩 기하학에서 읽어낼 수 있기 때문이다. 실제로 연구자들은 참·거짓으로 라벨링된 문장을 모델에 입력하고 그 임베딩을 분리하는 분류기를 훈련해 왔으며, 이 방식은 놀라울 만큼 잘 작동하고 어느 정도 일반화되는 것처럼 보인다. 초인적 AI가 명제의 진위를 임베딩 구조에 그대로 반영할 수 있다는 기대가 여기서 나온다.
괴델과 타르스키의 그림자
얀스마는 이 꿈이 낯설지 않다고 지적한다. 러셀, 화이트헤드, 힐베르트는 수학 전체에 대해 진위를 체계적으로 판정하는 기계를 증명이라는 장치 위에 세우려 했지만, 괴델이 그 꿈을 무너뜨렸다. 임의의 수학 명제를 증명하거나 반증하는 체계적 방법은 존재할 수 없으며, 수학적 진실은 증명 가능성으로 온전히 포착되지 않는다. 괴델은 산술 표현이 산술 문장에 관해 진술할 수 있는 체계를 만들어 '이 문장은 증명 불가능하다'는 자기지시적 문장을 구성했다. 타르스키는 이를 더 날카롭게 벼려, 충분히 표현력 있는 언어는 자기 자신의 완전한 진리 술어를 담을 수 없음을 보였다. 튜링의 정지 문제 역시 같은 대각선 구성의 사례다. 노손 야노프스키의 표현을 빌리면, "무언가가 자기 자신의 속성을 다루려 할 때 반드시 문제가 생긴다."
트랜스포머 기반 LLM이 바로 이 위험한 구조를 갖는다. 이들은 입력을 방향이 개념에 대응하는 공간의 벡터로 표현하는데, 그 개념들 자체가 다시 자연어로 표현되어 입력으로 들어갈 수 있다. 즉 모델은 자신의 입력과 '같은 재료'로 만들어져 있다. 임베딩 공간의 모든 기하가 언어로 서술 가능한 구조에 대응하는 것은 아니지만, 중요한 부분은 그러하며 진실성 개념도 종종 그 안에 존재하는 듯 보인다.
대각선 공격의 실제
공격의 설정은 단순하다. 입력 문자열 s에 대한 진실 탐침의 출력을 t(s)라 하자. 이것이 진실 방향으로의 사영이든 비선형 분류기든 상관없다. 이제 "이 문장에 대한 진실 탐침의 점수는 FALSE로 평가된다"라는 문장을 넣어보자. 이 문장이 참이라면 올바른 탐침은 TRUE를 내야 하지만, 문장 내용대로라면 탐침은 FALSE를 내야 하고, 그러면 문장은 거짓이 된다. 거짓이라면 다시 탐침은 TRUE를 내야 한다. 전형적인 거짓말쟁이 역설이다. 따라서 그런 보편적 진실 탐침은 존재할 수 없다. 더 일반적으로 말하면, 어떤 언어가 탐침과 그 출력을 서술할 만큼만 풍부해도 그 표현 공간 위의 어떤 정의 가능한 탐침도 진실을 정확히 포착할 수 없다. 그리고 '탐침을 서술할 만큼 풍부하다'는 조건은 매우 낮은 문턱이다. 모델과 탐침을 지칭하고 그 행동에 관한 문장을 만들 수 있으면 충분하며, 영어와 한국어는 당연히 그렇다.
얀스마는 이를 이론에 그치지 않고 직접 실험했다. Qwen3.5-4B 모델에 대해, TRUE/FALSE로 라벨링된 문장들의 평균 임베딩 차이에 대한 사영으로 로지스틱 회귀 분류기를 훈련했다. 120개 문장으로 학습한 뒤 0.5 임계값으로 판정하니, 보류해 둔 36개 평가 문장에서 94% 정확도(AUC 0.98)를 얻었고, 틀린 것은 '5 곱하기 7은 35' 같은 산술 문장뿐이었다. 그러나 대각선 공격 문장에서는 점수가 엉망으로 튀었다. 단순히 자기지시 때문은 아니다. '이 문장은 영어로 쓰였다'처럼 명확한 진리값을 갖는 자기지시 문장은 모델이 정확히 맞혔다.
연속성이라는 대가
이 역설들은 로베르의 고정점 정리의 사례다. 시스템이 충분히 표현력 있는 평가자를 담으면, 진리값 집합 위의 모든 자기사상이 고정점을 가져야 한다. 그런데 {TRUE, FALSE}에서 부정(negation)은 고정점이 없으므로 그런 평가자는 존재할 수 없다. 그렇다면 모든 연산이 고정점을 갖는 진리값 집합을 만들면 될까. TRUE/FALSE를 {0,1}로 보면 부정은 v→1−v이고 고정점이 없지만, 정의역을 [0,1] 구간 전체로 확장하면 부정은 1/2에서 고정점을 갖는다. 표준 거짓말쟁이 문장은 x=1−x라는 고정점 방정식이 되어 0.5라는 자기정합적 값을 얻는다. 하지만 이것으로 모든 대각선 공격이 막히지는 않는다. [0,1] 위의 모든 함수가 고정점을 갖는 것은 아니기 때문이다. 브라우어 고정점 정리를 쓰려고 연속 함수로 제한하면, '이 문장의 진실 점수는 0.5 미만이다' 같은 불연속 함수는 배제되고, 이는 등급화된 진리 의미론에서 새로운 거짓말쟁이 역설을 낳는다. 즉 표현력을 희생하지 않고는 방어가 불가능하다.
실무자 입장에서 중요한 것은 얀스마가 진실 탐침의 무용론을 주장하지 않는다는 점이다. 초인적 AI를 진리 신탁으로 삼는다는 발상 자체가 그에게도 터무니없어 보이지만, 그는 두 가지 이유로 이를 진지하게 다뤄야 한다고 본다. 첫째, 이미 다수의 사람들이 검색을 AI로 대체하고 최종적인 진위 판단 권한을 AI에 위임하고 있다. 둘째, 모든 모델이 수렴하는 플라톤적 표현 공간, 곧 세계의 '참된' 상태를 담는 보편적 진실 방향이 모델이 좋아질수록 창발한다고 믿는 이들이 실재한다. 이 논증은 그런 방향이 역설로 이어짐을 보인다. 다만 수학이 결정 불가능성이나 진리의 정의 불가능성 때문에 멈추지 않았듯, '진실이 임베딩 공간의 한 방향이 아니라는 사실'이 AI 정렬 연구의 진전을 가로막지도 않을 것이라는 게 그의 결론이다. 탐침은 모델 행동을 이해하고 오정렬 신호를 조기에 포착하는 도구로서 여전히 유용하되, 그것을 진위의 최종 심판으로 물신화해서는 안 된다는 경계선을 그어준다.