언어 모델이 정확한 계산을 못 한다는 건 오래된 약점이다. 보통은 모델 바깥에 파이썬 인터프리터나 계산기 같은 도구를 붙여 이 문제를 우회한다. Qwenputer라는 실험은 전혀 다른 길을 택했다. Qwen 3.5 4B 모델의 가중치 안에 32비트 RISC-V CPU를 직접 컴파일해 넣고, 모델이 토큰을 생성하는 포워드 패스 그 자체로 연산을 돌리는 것이다. 외부 런타임도, 도구 호출도, 샌드박스도 없다. 제작자의 표현을 빌리면 플러그인이 아니라 가중치 안에서 작동하는 진짜 회로다.
GDN 레이어를 RAM으로 바꾸는 트릭
핵심은 Qwen3-Next와 Qwen 3.5가 어텐션 레이어 네 개 중 세 개를 Gated DeltaNet(GDN)이라는 선형 RNN으로 대체한다는 점에 있다. GDN의 각 헤드는 상태 행렬을 메모리처럼 유지하고, 매 토큰마다 게이트(0~1 사이 값)를 곱해 기존 기억을 조금씩 흐리게 만든 뒤 델타 규칙으로 새 값을 덮어쓴다. Qwenputer는 여기서 게이트를 1로 고정해 아무것도 잊지 않게 하고, 쓰기 강도(beta)도 1로 두어 특정 방향의 값을 완전히 교체하며, 키를 원핫 벡터로 인코딩한다. 그 결과 쓰기는 정확히 한 행만 덮어쓰고, 질의는 정확히 한 값을 되읽는다. 즉 GDN 상태가 주소 지정이 가능한 정확한 RAM이 된다.
이 발상 자체가 완전히 새로운 건 아니다. Schlag 등이 2021년 ICML 논문에서 델타 규칙 기반 선형 어텐션이 연상 메모리, 이른바 '빠른 가중치'로 작동한다는 걸 보였다. 다만 이번 실험이 다른 지점은, 그 메모리를 실제 상용 모델 안에서 정확하고 주소 지정 가능하게, 그리고 CPU 한 대를 통째로 돌릴 만큼 안정적으로 만들었다는 데 있다. 통상적인 어텐션의 KV 캐시와 달리 GDN 헤드의 상태 크기는 대화가 길어져도 그대로여서 비용 면에서도 유리하다.
학습 없이 컴파일로 심은 CPU
RAM이 확보되자 그 위에 CPU를 올리는 작업이 가능해졌다. 흥미로운 점은 학습이 전혀 없다는 것이다. CPU를 '레지스터 읽기', '두 수 더하기', '0이면 점프하기' 같은 작은 단계의 회로로 기술하면, 컴파일러가 각 단계를 트랜스포머 레이어의 조각(값을 조회하는 어텐션 헤드, 산술을 담당하는 피드포워드, RAM을 쥐는 DeltaNet 헤드)으로 직접 변환해 가중치에 써 넣는다. 명령 하나는 몇 개의 생성 토큰(주소를 지정하는 ADDR, 값을 나르는 VAL, 명령을 끝내는 STEP)이 되고, 이 토큰들이 곧 CPU의 실행 트레이스다. Qwen이 그 토큰을 뱉는 동안 CPU가 실제로 돌아가는 셈이다.
구현된 코어는 RV32IM에 Zba 확장과 큰 수 연산용 소형 유닛을 더한 것으로, Qwen의 32개 레이어 앞에 11개 레이어를 차지한다. 공식 riscv-tests를 통과했고 프로그램 결과가 qemu와 일치하며, 참조 기계의 교정 없이 자체 출력만으로 1,800만 개 명령을 오류 없이 실행했다. C와 마이크로파이썬 코드도(다소 느리지만) 돌아간다. 모델이 이 CPU를 쓰게 만드는 방법은 의외로 소박하다. 모델이 이미 잘 학습한 도구 호출 형식에 얹어, Qwen이 CPU에 명령을 보내고 결과를 되읽도록 한 것이다. RvChat이라는 작은 드라이버가 펌웨어를 GDN 상태에 적재하고 트레이스 토큰이 Qwen 레이어에 섞이지 않게 걸러낸다. Qwen의 원래 가중치는 그대로 두고, 컴퓨터용 가중치는 추가 차원과 레이어로 위에 덧붙는다.
수치가 말하는 것, 그리고 남는 한계
효과는 분명하다. NUPA 장정수 산술에서 Qwenputer는 48.6%에서 100%로 올라, 파이썬 도구를 붙였을 때와 같은 수준에 도달했다. 약 23만 개 출력 위치를 참조 기계와 대조했을 때 불일치는 하나도 없었고, 일반 대화 능력도 기저 Qwen 대비 거의 변하지 않았다(KL 6e-4, 잡음 바닥 5e-4). 여기에 파일 시스템까지 얹었다. 파일 이름을 1,024개 슬롯 중 하나로 해싱해 디렉터리를 만들고 본문은 다른 헤드에 행당 8토큰씩 저장하는데, 최대 512개 파일, 약 5만 3천 토큰을 담는다. 대화 종료 시 상태를 저장해 다음 대화에 불러오면 파일이 그대로 남아, 대화 사이에 바뀐 사실을 묻는 테스트에서 90% 정답률을 보였다(과거 대화를 그대로 붙여 넣는 방식은 30%).
다만 어디까지나 실험이라는 점을 잊어선 안 된다. 체크포인트는 18.8GB로 기저 모델의 약 두 배인데 대부분이 0 패딩이고, RvChat 드라이버가 있어야 부팅돼 평범한 generate() 호출로는 돌지 않는다. 명령 하나가 토큰 여러 개를 소모하는 구조라 큰 계산은 밀리초가 아니라 초 단위로 걸리며, L4 GPU에서 초당 약 3,200 CPU 토큰을 처리하는 수준이다. 실무에서 당장 쓸 물건은 아니라는 뜻이다. 그럼에도 이 실험이 던지는 질문은 가볍지 않다. RNN 상태를 정밀하게 제어할 수 있다는 것은, 모델이 자신의 추론을 RNN 상태에 숨겨 사고사슬 감시를 회피할 수도 있고, 반대로 모델이 끌 수 없는 내장 감시 도구를 가중치에 심을 수도 있다는 양면성을 함께 연다. 정확한 계산이라는 실용적 성과보다, 가중치가 결정론적 회로가 될 수 있다는 사실 자체가 AI 안전 연구의 새로운 실험대를 열었다는 점이 더 오래 남을 대목이다.