대형 언어 모델의 구조를 이해하려는 사람에게 가장 큰 장벽은 코드 자체가 아니라 그것을 둘러싼 프레임워크의 추상화다. PyTorch나 Flax, Equinox 같은 라이브러리는 생산성을 높여 주지만, 모델의 각 부품이 실제로 어떤 텐서 연산으로 돌아가는지는 겹겹의 클래스와 데코레이터 뒤에 가려진다. 최근 공개된 한 오픈소스 프로젝트는 이 문제를 정반대 방향에서 접근했다. DeepSeek V3의 핵심 아키텍처를 순수 JAX만으로, 주석과 빈 줄을 제외하고 약 190줄 안에 구현한 것이다. 외부 모델링 프레임워크는 전혀 쓰지 않았고, 파라미터는 배열을 담은 평범한 파이썬 딕셔너리이며, 모델의 모든 부분은 deepseek_v3.py 파일을 위에서 아래로 읽어 내려갈 수 있는 함수로만 구성돼 있다.
논문의 네 가지 기법을 그대로
이 구현이 흥미로운 이유는 단순히 짧기 때문이 아니라, DeepSeek-V3 기술 보고서가 내세운 핵심 설계를 빠짐없이 담았기 때문이다. 어텐션의 KV 캐시 비용을 줄이는 MLA(Multi-head Latent Attention), 다수의 전문가 네트워크로 연산을 분산하는 DeepSeekMoE, 보조 손실 없이 전문가 간 부하를 맞추는 aux-loss-free balancing, 그리고 다중 토큰 예측(MTP)이 모두 포함됐다. 상용 모델을 그대로 복제한 것이 아니라, 논문에 서술된 구조를 밑바닥부터 직접 짜서 소형 규모로 사전학습까지 돌렸다는 점에서 교육용 레퍼런스로서의 가치가 크다.
학습 데이터는 전부 미국에서 퍼블릭 도메인인 탐정·범죄 소설이다. 대실 해밋의 작품들과 프로젝트 구텐베르크의 약 200권을 합쳐 207권 분량, 120MB 정도를 내려받아 정제한 뒤 8,192 토큰짜리 BPE 토크나이저를 직접 학습시켜 쓴다. 저작권 분쟁 소지가 없는 텍스트만 골라 재현 가능성을 확보한 설계인데, 다만 구텐베르크가 203권 중 28권을 소폭 수정해 재배포한 탓에 데이터 해시는 사람마다 달라질 수 있다. 토큰 수 자체는 동일하게 나오므로 학습 거동에는 영향이 없다고 저자는 설명한다. 동일한 바이트로 재현하려면 릴리스에 올려둔 데이터를 그대로 받으면 된다.
보조 손실 없는 부하 분산의 실측
가장 눈여겨볼 결과는 aux-loss-free balancing의 효과를 직접 확인한 대목이다. 맥북 에어 M5(24GB)에서 기본 설정으로 돌린 한 번의 실험에서, 부하 분산 기능을 켠 경우와 끈 경우의 2000스텝 검증 손실이 각각 3.921과 3.923으로 사실상 같았다. 즉 전문가 부하를 편향 항으로 고르게 맞추는 과정이 성능 손실 없이 이뤄졌다는 뜻이며, 이는 논문의 주장을 소규모 환경에서 재현한 셈이다. 생성 품질 자체는 기대할 수준이 아니다. "The fog came in off the"라는 프롬프트에 모델은 "the bay, and the great trees were spreading and the stars were shining" 같은 문법적으로만 그럴듯한 문장을 내놓는다. 저자 스스로도 이것은 강력한 언어 모델이 아니라 구조를 보여 주는 데모라고 못 박는다.
실행 환경의 현실적 제약
실무자가 직접 돌려 보려 한다면 환경 제약을 정확히 알아야 한다. 공개된 실행은 애플 실리콘 맥, 파이썬 3.12, 패키지 매니저 uv, 그리고 24GB 메모리를 전제로 한다. 특히 가속에 쓰이는 jax-metal 0.1.1은 jax 0.4.34에서만 동작하므로 JAX를 올려서는 안 되며, requirements의 모든 버전이 고정돼 있다. jax-metal에서는 2축 축약(contraction)에 대한 그래디언트 계산이 실패하는 알려진 한계가 있는데, 모델은 이 연산을 피하도록 작성돼 있다. 맥이 없다면 CPU로도 돌릴 수 있으나 훨씬 느리며, 이때는 4개 레이어와 8개 전문가, top-2, 128 토큰 컨텍스트로 축소한 small 설정을 쓰도록 안내한다. 다만 이 소형 설정은 끝까지 학습시켜 검증한 것이 아니라 몇 스텝만 확인한 수준임을 분명히 밝히고 있다.
보안 측면에서 한 가지 짚어 둘 점이 있다. 배포되는 체크포인트는 파이썬 pickle 형식이라 로드 시 임의 코드가 실행될 수 있다. 신뢰할 수 있는 출처의 체크포인트만 불러오라는 경고가 붙어 있는데, 이는 이 프로젝트만의 문제가 아니라 파이썬 생태계 전반에서 반복적으로 지적돼 온 위험이다. 가중치 파일을 무심코 로드하는 습관이 공급망 공격의 통로가 될 수 있다는 점은 다시 한 번 상기할 만하다. Metal 상의 GPU 연산은 비트 단위로 결정적이지 않아 손실 수치가 공개된 값과 정확히 일치하지는 않고 근사치로 수렴한다.
이 프로젝트의 쓸모는 프로덕션 모델이 아니라 학습 자료로서의 투명성에 있다. 코드는 MIT 라이선스이며, 매 평가 시점마다 손실과 전문가별 부하, 편향 값, 초당 토큰 수가 metrics.jsonl에 기록돼 내부 동작을 눈으로 따라갈 수 있다. 수백억 파라미터의 상용 모델을 그대로 구현하려는 시도가 아니라, 최신 MoE 구조의 핵심 아이디어들이 어떻게 맞물려 돌아가는지를 노트북 한 대에서 끝까지 확인해 볼 수 있다는 점이 이 190줄의 진짜 가치다. 거대한 인프라 없이도 아키텍처의 원리를 손으로 만져 보고 싶은 엔지니어라면 한 번쯤 읽어 볼 만하다.