한 블로그 글이 'GPT-6 아스트라(Astra)가 신경망의 원시 가중치(raw weights)만 보고 그 네트워크가 무엇을 학습했는지 알아내며, 환경 피드백 없이도 PPO로 1억 스텝을 학습한 네트워크를 능가하는 게임 플레이 신경망을 밑바닥부터 작성한다'고 소개했다. 여기에 더해 'Qwen3.5-0.8B를 그래디언트 없이 수학에 더 강하게 만들라'는 요청을 받자, 아스트라가 추론 루프(reasoning loop)를 일으키는 가중치상의 문제를 찾아내 전체 가중치의 0.016%만 수정해 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸다는 설명이 붙었다. 같은 샘플링 설정에서 지시 이행 능력(IFEval)도 3배로 뛰었다고 한다. 겉보기에는 하나의 놀라운 능력이 여러 과제를 관통한 것처럼 읽힌다. 하지만 이 글을 비판하는 honnibal.dev의 분석은, 그 서술 방식 자체가 독자를 오도한다고 지적한다.
하나의 묘기처럼 보이지만 기법은 제각각
비판의 핵심은 '같은 묘기를 매번 다른 기법으로 보여주는 마술사'에 비유된다. 관객은 하나의 트릭이 있다고 가정하기 때문에, 공연자가 매번 다른 방식으로 똑같은 결과를 내면 '그 가설은 틀렸다'고 스스로 납득하게 된다. 문제의 글도 마찬가지다. 원시 가중치를 그대로 읽는 실험, 게임 플레이 네트워크를 개선하는 실험, 그리고 Qwen의 수학 성능을 올리는 간판 실험이 모두 한 편에 묶여 있지만, 실제로 쓰인 기법은 서로 완전히 다르다. 특히 '단지 원시 가중치를 보는 것만으로'라는 표현이 글 전체의 인상을 지배하는데, 정작 가장 주목받는 Qwen 실험은 그 방식으로 작동하지 않는다.
분석에 따르면, 가중치의 원시 부동소수점 값을 맥락(context)에 직접 넣고 도구도 쓰지 않으며 네트워크를 실행하지도 않는 '순수하게 가중치만 보는' 설정은 1만7천~17만2천 개 규모의 작은 네트워크를 다루는 일부 실험에서만 나타난다. 반면 실제 언어 모델이 등장하는 모든 실험은 파이썬 코드를 작성해 수행된다. 게다가 간판 격인 Qwen 실험은 최대 50배치 분량의 연습 문제로 모델을 실제로 돌려보는 과정까지 허용받는다. 즉 '가중치를 눈으로 읽어 고쳤다'는 인상과 달리, 실상은 코드를 짜고 모델을 반복 실행하며 조정한 결과에 가깝다.
각주가 드러내는 조건들
글에 달린 각주들을 보면 성과의 조건도 상당히 제한적이다. 게임 네트워크 실험은 가중치가 0에서 시작하므로 애초에 '읽을' 가중치가 없는 상태에서 작성하는 과제이고, PPO로 5억 스텝 학습한 모델을 이긴 것도 브레이크아웃(517 대 25) 한 종목뿐이다. 시퀘스트(53 대 89)와 아스테릭스(53 대 55)에서는 오히려 뒤졌다. Qwen의 실패를 분석하는 실험은 녹화된 실패 사례 한 건을 주고, 모델의 출력이 아니라 어텐션 패턴만 최대 16개 텍스트에 대해 관찰하는 식으로 진행된다. 하나하나는 흥미로운 과제지만, '가중치를 꿰뚫어 본다'는 포괄적 능력의 증거로 묶기에는 전제 조건이 너무 많다.
그렇다고 Qwen 결과가 무의미한 것은 아니다. 이 실험이 실제로 보여주는 바는, 아스트라가 숙련된 ML 엔지니어가 할 법한 작업을 스스로 설계하고 수행하도록 프롬프트될 수 있다는 점이다. 사람 엔지니어도 네트워크 가중치를 분석하거나 '직접' 수정하는 코드 조각을 일상적으로 작성한다. 이를 생산적으로 해내는 방법을 모델이 찾아낸다는 것은 결코 사소하지 않으며, 1~2년 전의 AI라면 이런 과제 전반에서 실패했을 것이라는 점도 분석은 인정한다.
왜 한데 묶으면 안 되는가
문제는 서로 다른 기법의 성과를 한 편의 글에 모아 놓으면, 독자가 이를 '하나의 깊은 능력'으로 오인하게 된다는 데 있다. 만약 단일 기법 하나가 '작은 게임용 가중치를 밑바닥부터 써내는 일'과 '큰 모델의 특정 과제 성능을 끌어올리는 일'을 동시에 해낸다면, 그것은 가중치에 대한 일종의 게슈탈트적 이해—즉 가중치를 통째로 써낼 수 있고 기존 대형 네트워크의 내부까지 파악한다는 것—를 입증하는 강력한 증거가 된다. 하지만 실제로는 서로 다른 기법들이 각기 다른 조건에서 작동한 것이므로, 그런 통합적 능력은 전혀 증명되지 않는다.
한국의 IT 실무자에게 이 논쟁이 주는 교훈은 분명하다. 모델 능력에 관한 발표를 읽을 때는 초록(abstract)의 포괄적 수사보다 각 실험이 어떤 입력을 받고 어떤 도구를 허용받았는지, 네트워크를 실제로 실행했는지, 성과가 몇 번의 시도 중 어떤 종목에서 나왔는지를 각주 단위로 따져봐야 한다는 것이다. 특히 '가중치를 직접 편집했다'거나 '그래디언트 없이 개선했다'는 표현은, 그 뒤에서 코드 작성과 반복 실행이라는 통상적 엔지니어링 절차가 돌아가고 있는지 확인하지 않으면 실제 능력을 크게 부풀려 받아들이게 된다. 인상적인 결과와 실제로 입증된 메커니즘을 분리해서 읽는 습관이, 과장된 벤치마크 서사에 휘둘리지 않는 가장 실용적인 방어선이다.