생성형 AI 모델 훈련 비용이 수백만 달러 단위로 거론되는 시대에, 2인 연구소 Linum이 약 2만 1천 달러(약 21K)의 컴퓨팅 비용으로 20억 파라미터 규모의 텍스트-이미지 모델을 만들었다고 공개했다. 이 모델의 이름은 Pyramid-JiT, 줄여서 P-JiT이며 가중치는 Apache 2.0 라이선스로 배포된다. Linum은 이 모델 자체를 최종 제품으로 내놓은 것이 아니라, 자신들이 지향하는 생성형 비디오 모델로 가는 길목의 개념 증명(proof-of-concept)이라고 분명히 선을 그었다. 모델 규모에 비해 결과물의 품질이 예상보다 좋았기 때문에 실험적 릴리스로 공개했다는 설명이다.
왜 비용과 속도에 집착하는가
Linum은 창작 도구의 대중화, 특히 애니메이션 제작의 민주화를 목표로 내건 연구소다. 이들이 보는 오늘날 생성형 비디오 모델의 두 가지 결함은 명확하다. 너무 느리고 비싸며, 제대로 된 제어 수단이 없다는 것이다. 창작은 만들고 다듬고 개선하는 반복 과정인데, 느리고 비싼 데다 세밀한 조정까지 어렵다면 스토리텔링 도구로는 사실상 쓸모가 없다는 진단이다. 그래서 Linum v3의 1차 목표는 추론 비용 자체를 크게 낮추는 것이었고, P-JiT는 그 방향의 산물이다. 생성형 비디오 모델은 거의 항상 이미지 모델에서 출발한다. 사람·사물·장소 같은 '명사'를 먼저 배워야 움직임이라는 '동사'를 배울 수 있기 때문이다. 이번 이미지 모델 훈련은 더 큰 비디오 모델로 가기 전의 압박 시험에 가깝다.
픽셀 공간과 공격적인 토큰 압축
기술적으로 가장 눈에 띄는 선택은 토큰 압축률이다. 이전 세대인 Linum v2는 Wan VAE와 DiT 확산 모델을 결합한 비교적 표준적인 구조로, FLUX-2 등 대부분의 모델처럼 16×16 토큰 축소를 사용했다. 반면 P-JiT는 32×32 토큰 축소를 적용해, 과거 256² 이미지를 표현하던 토큰 수로 512² 이미지를 담아낸다. 이는 어텐션 문맥 창을 4배 줄인다는 의미이며, Linum은 P-JiT가 v2보다 11배 적은 샘플로 수렴했다고 밝혔다. 이 모델은 VAE 잠재 공간이 아니라 픽셀 공간에서 동작하는데, 바로 이 점이 훈련 가속의 핵심 장치와 연결된다. REPA, RAE-v2, Self-Flow 같은 인접 연구들은 DiT 초반 블록에서 그래디언트 신호가 약하다는 문제를 지적해 왔다. 픽셀 공간 모델에서는 모든 블록이 사실상 최종 이미지의 어떤 버전을 예측하므로, 네트워크 중간 지점에서 저해상도 이미지를 예측하게 만들어 초기 블록의 그래디언트 신호를 보강할 수 있다.
실제 구조를 보면 텍스트와 이미지가 각각 두 개의 단일 모달리티 '리파이너' 블록을 거친 뒤 22개의 동일한 DiT 블록으로 합쳐진다. 텍스트 표현은 동결된 Qwen3.5-4B 모델의 7·15·27번째 층에서 읽어와 결합·투영한다. 이미지는 32×32 패치로 나뉘어 1024차원으로 압축되는데, 이는 3:1 압축에 해당한다. 5번 블록에는 모델의 잠재 공간을 DINOv3-L에 정렬시키는 PixelREPA 리드아웃이, 10번과 16번 블록 뒤에는 각각 1/4·1/2 해상도의 최종 이미지를 예측하는 선형 리드아웃 헤드가 붙는다. 훈련은 고노이즈에 집중했다가 점차 분포를 넓히는 커리큘럼 노이즈 스케줄을 따르며, 512²에서 1024²로 해상도를 올리는 단계적 방식을 쓴다. 후반 학습(post-training)에는 FDFO의 변형과 JEV-Image, 그리고 사람이 개입하는 판정자를 조합했다.
솔직하게 밝힌 한계들
주목할 만한 점은 Linum이 모델의 약점을 숨기지 않았다는 것이다. 이 모델은 렌더링된 텍스트(인포그래픽, PDF, 책 페이지, 슬라이드 등)로 학습하지 않았기 때문에 글자를 쓰거나 포스터를 생성하지 못한다. 애니메이션 도구라는 최종 목표에 이 데이터가 유용하지 않다고 보고 데이터셋에서 아예 걸러냈기 때문이다. 또한 20억 파라미터 DiT에 40억 파라미터 텍스트 인코더를 쓴 작은 모델인 만큼 전신 묘사, 다수의 개체(예: 자동차 여섯 대나 군중), 여러 사람 간 상호작용, 세계 지식에서 취약하다. 이들은 7B급의 더 큰 모델과 추가 후반 학습이 이 문제를 완화할 것이라고 본다.
후반 학습에 대한 솔직한 평가도 눈여겨볼 만하다. Linum은 확산 모델의 후반 학습이 아직 매우 어린 분야라고 말한다. 증류 기법은 많았지만, LLM이 코딩 능력에서 보여준 것 같은 근본적 역량 향상형 후반 학습은 확산 모델에서 아직 결실을 맺지 못했다는 것이다. DPO는 특정 미감에 과적합되는 경향이 있고, RLVR 방식을 확산에 도입한 Flow-GRPO도 비교적 최근 등장했다. 이들은 그 원인을 자기회귀 LLM과 달리 확산 모델에는 강력한 우도(likelihood) 추정이 없다는 구조적 차이에서 찾는다.
한국의 실무자에게 이 릴리스가 던지는 함의는 품질 자체보다 방법론과 경제성에 있다. 거대 자본 없이도 아키텍처 선택(픽셀 공간, 공격적 토큰 압축, 중간 리드아웃을 통한 그래디언트 보강)과 데이터 정제 전략으로 2만 달러대 훈련에서 쓸 만한 결과를 낼 수 있음을 보여준 사례이기 때문이다. Apache 2.0 가중치와 GitHub 저장소가 함께 공개된 만큼 재현과 응용의 여지도 열려 있다. 다만 텍스트 생성 불가, 복잡한 장면 취약 같은 명시된 제약은 실제 도입 전에 반드시 감안해야 한다. 흥미롭게도 모델 카드와 저장소 문서는 내부 실험 코드를 기반으로 Claude Opus 5.5가 자동 작성했다고 하는데, 이는 연구 코드의 공개 정리 작업에 LLM을 활용하는 최근 흐름의 한 단면이기도 하다.