딥러닝에서 신경망의 가중치는 사람이 손으로 다루는 대상이 아니었다. 수백만 개의 실수로 이뤄진 숫자 덩어리를 보고 그 신경망이 무엇을 하는지 알아내거나, 반대로 원하는 동작을 숫자로 직접 써 넣는 일은 사실상 불가능에 가깝다. 그래서 가중치는 Adam이나 Muon 같은 기호적 최적화 알고리즘, 혹은 경사하강법의 영역으로 남아 있었다. 최근 공개된 한 연구 블로그는 이 전제에 도전한다. 최신 프런티어 LLM이 자연어 상태에서 신경망 가중치를 직접 읽고 쓸 수 있으며, 그 수준이 사람이나 기존 알고리즘의 기대치를 넘어선다는 주장이다.
글에서 'GPT-6 Astra'로 지칭되는 모델은 훈련 루프를 작성하지 않고, 경사하강법도 쓰지 않은 채 오직 추론만으로 가중치를 해석하고 편집한다. 저자들은 이를 '웨이트 스페이스 프로그래밍(Weight-Space Programming)'이라 부른다. 핵심 발상은 신경망의 각 부분이 무엇을 계산하는지, 혹은 무엇을 계산해야 하는지를 모델이 언어적 추론으로 파악한 뒤 그에 맞게 숫자를 바꾼다는 것이다.
가중치만 보고 용도를 알아맞히다
첫 실험들은 '읽기' 능력에 초점을 맞춘다. 동일한 입력 채널, 동일한 행동 집합, 동일한 차원을 갖도록 맞춘 네 개의 PPO 게임 정책망을 두고 가중치만 제시했을 때, Astra는 선택지를 알려주지 않았는데도 네 신경망이 각각 어떤 게임용인지 모두 맞혔다. 예컨대 Breakout에서는 첫 층 가중치가 바닥 행(패들)에 몰린다는 식의 구조적 단서를 읽어냈다고 한다. 원·삼각형·사각형을 생성하도록 학습시킨 DDPM 확산 모델 실험에서도 정답을 맞혔는데, 실제 모델은 속이 찬 도형을 그리지만 Astra는 윤곽선만 그렸다. 저자들은 이 오류가 오히려 모델이 순전파를 돌려 답을 확인하는 것이 아니라 가중치의 기하 구조 자체를 읽는다는 증거라고 본다.
입출력 층을 제거하고 중간 트랜스포머 블록만 남긴 7.2M 파라미터 문자 예측 모델 실험은 더 흥미롭다. Astra는 Python·로마자 일본어·영어 세 모델의 언어를 모두 맞혔고, 24개 어텐션 헤드 가운데 복사(인덕션) 헤드를 빠짐없이 짚어냈다. 그 추론 방식이 Elhage 등이 제시한 분석 기법과 일치했지만, 저자들은 그 기법을 모델에 알려준 적이 없다고 밝힌다.
쓰기, 그리고 Qwen 교정
읽기를 넘어 '쓰기'로 가면 주장은 더 커진다. Kinetix 환경에서 경사로를 넘지 못하고 국소 최적에 갇힌 PPO 자동차 정책에 대해, Astra는 실패 원인을 설명한 뒤 가중치의 3.5%만 수정해 1,024개 에피소드 전부를 성공시켰다. MinAtar의 Breakout·Seaquest·Asterix에서는 환경 설명과 가중치만 주고 처음부터 새 가중치를 써내게 했는데, 1억 스텝 학습한 PPO를 세 게임 모두에서 이겼다고 한다. 가장 주목할 대목은 언어모델 교정이다. Qwen3.5-0.8B를 그래디언트 없이 수학에 더 강하게 만들라는 요청에, Astra는 Qwen 모델 카드가 경고하는 '추론 루프' 문제를 가중치에서 찾아 전체의 0.016%만 고쳤고, 동일한 샘플링 설정에서 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸다. 이 교정은 지시 따르기에도 그대로 일반화돼 IFEval이 3배로 올랐다고 한다.
대규모 사례로는 243→512×6→82 구조의 150만 파라미터 바둑망을 전부 0에서 작성하게 했다. 순전파 0회 예산에서는 작은 PPO망 상대로 절반 넘게 이겼고, 50회 예산에서는 2,000만 판으로 학습한 동급 PPO망을 이겼다. Astra는 이를 돌·활로·위기에 처한 그룹을 단계적으로 계산하는 작은 '바둑 프로그램'으로 설계해 Python 336줄로 써냈다.
실무자가 읽을 지점과 한계
이 결과가 사실이라면 함의는 두 갈래다. 하나는 최적화다. 지금까지 우리는 단순한 귀납 편향을 작은 기호적 옵티마이저에 담아 왔지만, 가중치를 직접 추론해 바꾸는 방식이 열린다면 그 전제가 흔들린다. 다른 하나는 해석 가능성이다. 가중치만으로 신경망의 숨은 특성이나 실패 모드를 언어로 설명해낸다는 것은, 모델 감사와 디버깅의 도구가 될 여지를 보여준다. 미세한 가중치 교정이 미세조정 데이터 없이 특정 결함을 제거하는 시나리오도 상상할 수 있다.
다만 거리를 두고 읽을 필요가 있다. 이는 한 곳에서 내놓은 초기 결과이며, 저자 스스로 'very early results'라고 밝힌 실험 보고다. 다룬 신경망 상당수가 모델 컨텍스트에 들어갈 만큼 작고, 1억·5억 스텝 PPO나 0.8B 모델처럼 상대적으로 소규모인 설정에서의 비교다. 동료 검증이나 독립 재현이 아직 전제되지 않았고, 'GPT-6 Astra' 같은 모델의 정체와 재현 조건도 공개 정보만으로는 확인하기 어렵다. 결국 지금 단계에서 실무자가 취할 태도는, 가중치 공간을 사람이 읽는 대상으로 바꾸려는 흐름을 하나의 방향성으로 주시하되, 생산 환경의 최적화나 모델 수정에 바로 적용 가능한 기법으로 받아들이지는 않는 것이다.