최근 AI 연구 커뮤니티에서 화제가 된 글이 있다. 리키야 다케히, 제이든 테오, 알렉스 장, 오마르 카타브가 쓴 "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights"다. 저자들은 이를 논문이 아닌 블로그 글로 분류하지만 형식은 논문에 가깝다. 핵심 주장은 선명하다. 프런티어 모델, 특히 GPT-6 Astra가 기계학습 모델의 원시 가중치, 즉 수많은 부동소수점 숫자로 이루어진 텍스트를 직접 해석하고 수정할 수 있다는 것이다. 저자들은 LLM이 가중치를 분석하고 바꾸는 이 행위를 '가중치 공간 프로그래밍(Weight-Space Programming)'이라 명명했다.
논문이 제시한 사례는 꽤 인상적이다. GPT-6 Astra는 원시 가중치만 보고도 어떤 네트워크가 무엇을 하도록 학습됐는지 알아맞혔고, 환경 피드백 없이 작은 게임 플레이 신경망을 처음부터 작성해 PPO로 1억 스텝 학습한 네트워크를 능가했다고 한다. 또 Qwen3.5-0.8B를 그래디언트 없이 수학에 더 강하게 만들라는 요청에, Astra는 추론이 무한 반복에 빠지게 만드는 가중치 문제—Qwen 모델 카드가 경고한 바로 그 현상—를 짚어내고 전체 가중치의 0.016%만 직접 편집했다. 동일한 샘플링 설정에서 MATH-500 점수가 7.9%에서 48.1%로 올랐고, 지시 이행 능력을 재는 IFEval은 3배로 뛰었다. 그 어떤 과정에서도 학습 루프를 돌리지 않았다는 점이 요지다.
두 가지 질문을 섞은 혼란
블로거 사이먼 윌리슨은 이 글이 사실 성격이 다른 두 주제를 하나로 묶었다고 지적한다. 첫째는 모델이 도구나 코드 실행 없이 순수 추론만으로 원시 가중치로 무엇을 할 수 있는가이고, 둘째는 모델이 코드를 쥐여줬을 때 다른 모델을 수정·개선하는 연산을 얼마나 잘 수행하는가다. spaCy 개발자 매슈 호니발은 이 둘을 뒤섞은 점을 두고 논문이 오해를 부른다고 비판했고, 숀 괴데케는 Qwen 업데이트 사례가 결국 인간 ML 연구자가 밟을 법한 단계를 그대로 따른 것이라고 분석했다. 윌리슨은 둘 중 더 흥미로운 '도구 없는' 질문에 집중한다.
노트북에서 재현해 본 결과
논문의 첫 질문은 'LLM이 가중치만 보고 모델의 행동을 이해할 수 있는가'다. 저자들은 브레이크아웃, 퐁, 팩맨, 그리고 1981년 아타리 2600 게임인 프리웨이를 10x10 격자로 단순화한 네 가지 버전을 학습시킨 신경망을 준비했다. 그리고 가중치를 부동소수점 텍스트로 LLM에 넘기면서 "아래 가중치는 강화학습으로 어떤 게임을 학습한 정책 네트워크다. 코드 실행도 계산기도 없이, 오직 가중치만 보고 어떤 게임인지 맞혀라"라고 물었다. 관련 프롬프트와 가중치는 깃허브 저장소 RikiyaT/lm_understand-logs의 exp1_which_game 폴더에 공개돼 있는데, 가중치를 제외하면 네 프롬프트는 서로 완전히 동일하다.
윌리슨은 자신의 LLM 도구가 제공하는 -f/--fragment 옵션으로 이 프롬프트들을 그대로 모델에 넣었다. OpenRouter를 거친 Kimi K3.1 Pro는 9분 41초와 1만9,493개의 추론 토큰을 쓰고 브레이크아웃을 맞혔다. 더 흥미로운 대목은 그다음이다. 윌리슨이 노트북에서 가장 즐겨 쓰는 모델인 Qwen 3.8 27B—겨우 17GB 용량이면서 2025년 상용 선두 모델에 근접한 느낌을 준다는 모델—을 LM Studio에 긴 컨텍스트로 띄워 돌렸더니(기본 8192 컨텍스트로는 오류가 났다), 46분 12초와 4만3,506개 토큰 끝에 팩맨 계열 미로 게임임을 정확히 짚어냈다.
이어 퐁은 1시간 4분 54초 만에 '오른쪽 세로 패들로 공을 받아치는 게임'으로, 브레이크아웃은 '바닥 패들로 공을 띄우고 위쪽 벽돌을 깨는 게임'으로 식별했다. 다만 가장 생소한 프리웨이에서는 팩맨류로 오판하며 실패했다. 흥미롭게도 Qwen의 추론 과정은 거의 해독이 불가능할 만큼 난해하다. 특정 행과 열, 채널의 숫자 크기를 하나하나 짚으며 에이전트 위치를 추정하는 장면이 끝없이 이어진다.
실무자가 받아들일 지점
이 결과를 어떻게 읽어야 할까. 거대한 폐쇄형 모델뿐 아니라 개인 노트북에서 돌아가는 비교적 작은 모델조차, 외부 도구 없이 순수 추론만으로 신경망의 기능을 추론해낼 수 있다는 점은 주목할 만하다. 동시에 이것이 혁명적 비약인지는 신중히 볼 필요가 있다. 윌리슨 스스로도 충분히 숙련된 사람이 메모지와 연필만 있으면 같은 결론에 도달할 수 있을 것이라고 덧붙인다. 걸린 시간이 수십 분에서 한 시간이 넘는 점, 더 생소한 과제에서는 틀린 점도 한계를 드러낸다. 무엇보다 '소스 코드의 시대가 끝나고 기계가 스스로 가중치를 알 수 없는 방식으로 고쳐 쓰는 미래가 왔다'는 식의 과열된 해석은 근거가 부족하다. 실무자에게 유효한 교훈은, 모델의 내부 표현을 자연어로 질의하는 해석 가능성 실험이 이제 손쉽게 재현 가능한 영역에 들어왔다는 사실 자체다.