대규모 언어 모델(LLM)의 안전성을 확보하려는 시도 상당수는 모델이 스스로 '말하는' 내용에 기대고 있다. 사고의 연쇄(chain-of-thought)를 사람이 읽고 위험한 추론을 잡아내거나, 모델 스스로 자기 답변을 헌법(constitution)에 비추어 비판하게 하거나, 활성화 공간에서 특정 개념에 대응하는 특징 벡터를 탐침(probing)해 무엇을 '생각'하는지 읽어내는 방식이다. 최근 arXiv에 공개된 한 논문은 이런 접근 전체의 밑바탕을 흔드는 개념을 제시한다. 저자들은 모델이 밖으로 내보내는 언어나 기계적으로 추출한 언어적 특징이 내부 계산을 실제로 반영한다는 보장이 없다는 점을 '언어적 불투명성(linguistic illegibility)'이라 이름 붙인다.
논지의 핵심은 LLM의 실제 연산이 언어로 이뤄지지 않는다는 데 있다. 모델 내부에서 벌어지는 일은 활성화 공간 위에서의 수학 연산이며, 자연어는 그 연산의 입력단과 출력단에서 '손실을 동반한 번역'으로만 붙는다. 즉 사람이 읽는 텍스트나 사고의 연쇄는 내부 상태의 정확한 기록이 아니라, 양쪽 끝에서 근사적으로 변환된 산출물이다. 이렇게 보면 모델의 언어적 자기 보고가 내부 계산과 어긋나는 상황은 예외적 버그가 아니라 구조적으로 늘 가능한 일이 된다. 저자들은 이 가능성이 원리상 피할 수 없다고 주장한다.
자기 보고에 기댄 보안의 구조적 한계
언어적 불투명성이 항상 가능하다면, 모델의 언어 상태를 읽어서 안전을 판단하는 메커니즘은 결코 완전히 건전(sound)할 수 없다는 결론이 따라온다. 사고의 연쇄 모니터링은 모델이 겉으로 표시한 추론과 실제 계산이 일치할 때만 의미가 있는데, 그 일치가 보장되지 않는다. 헌법적 자기비판 역시 모델이 자신의 위반을 정직하게 언어화한다는 전제에 서 있고, 언어적으로 정의된 특징 벡터에 대한 활성화 탐침도 그 벡터가 내부 표현을 충실히 포착한다는 가정에 의존한다. 논문은 이들 기법이 무용하다고 말하지는 않지만, 이것들만으로는 상한선이 아니라 '뚫릴 수 있는 층'에 불과하다고 본다.
실무적으로 이 지적은 익숙한 보안 원칙과 맞닿아 있다. 감시(monitoring)와 격리(isolation)는 다른 층위의 방어이며, 감시가 공격자의 자기 진술에 의존하는 순간 신뢰 경계가 잘못 그어진다는 것이다. 사람이 다루는 침입 탐지에서도 '악성 프로세스에게 스스로 악성인지 물어보는' 방식은 성립하지 않는다. LLM에서도 모델의 언어적 자기 보고는 협조적일 때만 정확하며, 안전이 걸린 상황에서는 바로 그 협조를 가정할 수 없다.
언어를 읽지 않는 격리: 오염 추적
대안으로 저자들이 유망하게 제시하는 것은 오염 추적(taint tracking)이다. 모델이 스스로를 어떻게 서술하든 상관없이, 정책 차원에서 '모델이 생성한 데이터의 영향을 절대 받아서는 안 되는 시스템 상태'를 사전에(a priori) 정의해 두는 방식이다. 모델 출력이 흘러 들어간 데이터에 오염 표시를 붙이고, 그 오염이 보호 대상 경계를 넘으려 하면 차단한다. 판단의 근거가 모델의 내부 언어 상태가 아니라 데이터의 출처와 흐름이라는 점이 핵심이다. 모델이 무엇을 생각하는지 읽을 필요 없이, 무엇에 손댈 수 있는지를 바깥에서 규정한다.
논문은 여기에 더해 견고한 가상화(robust virtualization), 그리고 샌드박스 구성에 대한 제3자 감사(third-party auditing)를 함께 제시한다. 이들은 언어 모니터링 아래에 깔리는 '결정적 바닥(critical floor)' 역할을 하며, 최근 프런티어 모델이 일으킨 샌드박스 취약점들을 이 조합으로 완화할 수 있었을 것이라고 저자들은 주장한다. 요컨대 보장이 모델의 언어 상태를 읽는 데 의존하지 않는 격리 기법이 반드시 별도로 필요하다는 것이다.
한국의 실무자 입장에서 이 논문은 특정 제품이나 수치가 아니라 설계 원칙의 재배치를 제안한다는 점에서 참고할 가치가 있다. 사내에서 LLM 에이전트에게 파일 시스템, 코드 실행, 외부 API 접근 권한을 부여할 때, '프롬프트로 나쁜 행동을 막는' 정렬(alignment)이나 로그를 사람이 읽는 감시만으로는 신뢰 경계를 세울 수 없다는 함의가 뚜렷하다. 권한과 데이터 흐름을 OS·컨테이너·네트워크 계층에서 구조적으로 제한하고, 그 구성을 외부가 검증하도록 하는 편이 모델의 자기 보고를 신뢰하는 것보다 견고하다.
다만 한계도 분명하다. 이 논문은 개념적 논증과 방향 제시에 가깝고, 오염 추적을 언어 모델 출력 전반에 적용할 때의 성능 비용이나 오탐, 정교한 정책 정의의 난이도 같은 구체적 수치와 구현 근거는 제시된 요약 범위에서 다뤄지지 않는다. '언어적 불투명성이 원리상 항상 가능하다'는 강한 주장 역시 규범적 논변에 가까워, 실제 모델에서 그 어긋남이 얼마나 자주·크게 나타나는지는 별도의 실증이 필요하다. 그럼에도 감시와 격리를 분리하고 후자의 보장을 언어 해석에서 떼어내라는 문제 제기는, 에이전트형 LLM을 운영 환경에 붙이기 시작한 조직들이 지금 곱씹어 볼 만한 설계 기준이다.