미국의 풀스택 AI 연구소 Ricursive Intelligence가 자사 칩 설계 플랫폼을 구동하는 독자 모델의 범용 버전인 Ripple-65B Preview를 공개했다. 이 회사는 하드웨어·소프트웨어·모델을 함께 최적화해 스스로 개선되는 시스템을 만들겠다는 목표를 내걸고 있으며, 칩 설계 과정 자체를 AI로 압축하려는 맥락에서 언어 모델을 바닥부터 직접 훈련했다. 이번에 내놓은 모델은 그 내부용 모델에서 파생된 일반 공개용 변종이다.
숫자만 보면 이 발표의 무게 중심은 성능이 아니라 비용에 있다. Ripple-65B Preview는 12조 토큰으로 사전학습됐고 최대 100만 토큰의 컨텍스트를 지원하며, 에이전트형 코딩 벤치마크인 TerminalBench 2.1에서 80.52점을 기록해 미국 오픈웨이트 모델 중 최고 수준(SOTA)이라고 주장한다. 주목할 점은 비교 대상들이다. Reflection Beam 501B(80.1), Meta Muse Spark Open 816B(76.4), Thinking Machines Inkling 975B(63.8), NVIDIA Nemotron 3 Ultra 550B(56.4) 등 파라미터 규모가 훨씬 큰 모델들을 650억 파라미터 모델이 같거나 앞선 점수로 넘어섰다는 것이다. 파라미터 수가 곧 성능이라는 통념이 더 이상 단순하게 성립하지 않는다는 신호다.
10분의 1 비용이라는 주장
Ricursive가 밝힌 Ripple-65B Preview의 전체 R&D 비용은 3200만 달러다. 여기에는 사전학습 래더(ladder) 개발, 데이터 혼합, 평가, 디버깅, 합성 데이터 생성, 사후학습 레시피 개발, 그리고 최종 본 훈련까지 바닥부터 시작한 모든 과정이 포함된다. 이 수치는 업계가 공유해 온 사전학습 비용 감각과 선명하게 대비된다. 2023년 샘 올트먼은 GPT-4 훈련 비용이 1억 달러를 넘었다고 했고, 다리오 아모데이는 프런티어 모델 훈련에 최대 10억 달러가 들 수 있으며 2026~2027년에는 사전학습만으로 100억~1000억 달러에 이를 것이라고 전망한 바 있다. 각주에서 Ricursive는 경쟁사 Reflection이 SpaceX의 Colossus 클러스터에서 월 1억 5000만 달러의 컴퓨팅을 약속했다고 전하며, Beam은 사전학습 4주·사후학습 4주가 걸렸다고 덧붙였다.
비용 절감의 핵심은 사후학습 방식에 있다. 회사는 강화학습을 물량으로 밀어붙이는 대신 SFT와 RL 레시피를 컴퓨팅 효율 중심으로 반복 개선했고, 외부에서 사후학습 데이터를 사들이지 않고 자체 합성 데이터 파이프라인과 품질 필터링, 커버리지 지표를 직접 설계했다. 잘림 중요도 샘플링(truncated importance sampling), 점수 센터링, 선형 길이 페널티를 조합한 RL 레시피와 장기 과제형 합성 환경을 사용해, 모델이 성장할수록 더 어려운 과제를 계속 투입하는 방식을 택했다. 그 결과 140만 번의 롤아웃만으로 80.5점에 도달했는데, 이는 직전 SOTA였던 Reflection Beam보다 약 70배 적은 횟수라고 한다.
아키텍처의 역발상: MoE가 아닌 밀집 모델
설계 측면에서 Ripple은 최근 대형 연구소들이 앞다퉈 채택한 전문가 혼합(MoE) 구조 대신 현대화된 밀집(dense) 트랜스포머를 선택했다. 이유는 훈련·서빙 인프라의 복잡도를 낮추기 위해서다. 실제로 단순한 샤딩, 커스텀 커널 없이, 양자화 없이도 사전학습과 사후학습 내내 40% 수준의 MFU를 유지했다고 밝혔다. 구조는 d_model 5120에 80개 층을 쌓은 얇고 깊은(thin-and-deep) 형태이며, 어텐션 헤드를 과잉 공급하고 슬라이딩 윈도 어텐션(SWA)과 글로벌 어텐션의 비율을 높이되 윈도 크기를 줄여 비용을 상쇄했다. 여기에 FFN 활성값 클리핑, 게이트 어텐션, 글로벌 NoPE, 밸류 레지듀얼 등을 더했다.
이 선택은 배포 환경에도 직접 연결된다. 밀집 구조에 작은 파라미터 규모 덕분에, 데이터센터 가속기 대비 연산 성능은 높지만 메모리 대역폭이 낮은 NVIDIA DGX Spark 같은 로컬 장비에서도 효율적으로 돌아간다는 것이다. 사전학습 레시피는 AI2 Olmo 3의 모델 래더를 출발점으로 삼아 v1.0부터 v1.6까지 단계적으로 개선됐고, 사후정규화에서 pre+post norm으로의 전환, 시그모이드 게이트 어텐션, 글로벌 NoPE, 밸류 레지듀얼 등이 순차 도입됐다. 회사는 이렇게 누적된 변경으로 4B 규모에서 코드 성능 기준 컴퓨팅 효율이 최대 16배 개선됐으며, 규모가 커질수록 격차가 더 벌어질 것이라고 설명했다.
실무자가 읽어야 할 지점과 한계
한국 실무자 입장에서 이 발표가 의미 있는 이유는 두 가지다. 첫째, 가중치가 Hugging Face, Together AI, GMI Cloud, OpenRouter에서 제공되고 Fireworks도 곧 합류하므로, 거대 MoE 모델을 돌릴 인프라가 없는 조직도 로컬 또는 저비용 추론 환경에서 에이전트형 코딩 성능을 시험해 볼 여지가 생겼다는 점이다. 둘째, 밀집 구조·자체 합성 데이터·효율적 RL이라는 조합이 반드시 수십억 달러를 쏟아야 경쟁력 있는 코딩 모델이 나오는 것은 아님을 보여 준다는 점이다. 이는 파운데이션 모델 개발이 소수 초대형 사업자의 전유물이라는 전제를 흔든다.
다만 해석에는 신중할 필요가 있다. 공개된 지표는 사실상 TerminalBench 2.1 단일 벤치마크에 집중돼 있어, 실제 다양한 코딩·추론·멀티모달 과제에서의 일반 성능은 아직 외부 검증이 필요하다. 'U.S. 오픈웨이트 SOTA'라는 한정어가 붙은 비교이고, 비용 비교 역시 상당 부분 회사 자체 추정과 경쟁사 보도 인용에 기반한다. 또한 이 모델은 범용 변종일 뿐 실제 칩 설계를 수행하는 내부 모델의 성능은 공개되지 않았다. '프리뷰'라는 이름이 말해 주듯, 한국 팀이라면 벤치마크 수치보다 자사 코드베이스와 에이전트 워크플로에 직접 붙여 본 재현 결과를 기준으로 도입을 판단하는 편이 타당하다.