완전 공개로 승부하는 여섯 모델, IFM의 K2 Horizon이 던진 질문

IFM이 여섯 개의 모델로 구성된 오픈소스 제품군 'K2 Horizon'을 공개했다. 라인업은 총 파라미터 기준으로 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B의 여섯 종이며, 추론·수학·코딩·에이전트 작업·범용 능력 전반에서 각 크기 등급의 상위권 성능을 표방한다. 특히 0.9B, 3.7B, 7B 세 소형 모델은 자기 체급에서 최고 수준(SOTA)의 결과를 냈다고 밝혔다. 그러나 이번 공개의 진짜 무게중심은 벤치마크 숫자가 아니라 '무엇을 함께 열었는가'에 있다.

최종 가중치가 아니라 '개발 트리'를 연다

K2 Horizon은 모델을 하나의 완성된 엔드포인트로 보지 않고, 학습 과정 전체를 공개한다는 점에서 기존 오픈 릴리스와 결을 달리한다. IFM은 사전학습부터 추론·에이전트 후처리까지의 전 주기에 걸쳐 중간 체크포인트, 학습 데이터 또는 데이터 구성 레시피, 아키텍처, 혼합 구성, 학습 코드와 설정, 세밀한 로그, 평가 결과, 최종 가중치를 함께 배포한다. 모델과 코드는 Apache 2.0 라이선스이고, 데이터셋은 ODC-BY 등 각자의 라이선스를 따르며 재배포가 불가능한 경우에는 구성 방식만 문서로 공개한다.

이런 접근의 배경에는 IFM이 2023년 LLM360 논문에서 제시한 '완전 공개(fully open)' 원칙이 있다. 회사는 능력의 최전선에서 한참 뒤처진 투명한 모델은 연구 토대로서 가치가 제한적이고, 반대로 강력하지만 최종 가중치만 공개된 모델은 그 능력이 '어떻게' 만들어졌는지를 알려주지 않는다고 지적한다. K2 Horizon은 경쟁력 있는 모델과 그 학습 레시피를 동시에 내놓아 이 둘을 잇겠다는 시도다.

MoVA, 어텐션까지 희소화하다

기술적으로 눈에 띄는 것은 MoVA(Mixture-of-Value Attention)라는 새 아키텍처다. 통상의 Mixture-of-Experts(MoE)는 피드포워드 계층에만 희소성을 적용해, 많은 전문가 중 라우터가 토큰마다 일부만 활성화한다. MoVA는 이 원리를 어텐션으로 확장해, 트랜스포머가 문맥 정보를 모으는 방식 자체에 전문가 라우팅을 도입한다. FlashAttention, 그룹 쿼리 어텐션(GQA), 희소 어텐션 같은 효율화 기법과도 호환된다고 한다. 그 결과물인 36B-A4B는 총 360억 파라미터를 갖되 토큰당 약 40억 파라미터만 활성화하면서, 같은 학습 조건에서 밀집(dense) 모델인 32B에 근소하게 못 미치는 성능을 낸다. 최상위 모델 375B-A23B 역시 희소 MoE로 3,750억 파라미터 용량 중 토큰당 약 230억만 쓰는 구조다.

데이터 구성도 특징적이다. 각 모델은 약 20조 토큰 규모로 사전학습되며, 웹·코드·수학·과학·다국어·도메인 데이터에 자체 파이프라인이 생성한 합성 데이터가 더해진다. 사전학습 코퍼스의 약 17%가 명시적 추론 과정을 담은 문제풀이 궤적으로 구성됐고, 수학 궤적은 대화나 학습 가이드 형태로 재작성됐다. 합성 토큰은 약 10조 개에 달한다. 후처리 데이터도 마지막 단계에 몰지 않고 중간학습부터 투입하며, 작업 분류 체계에 기반해 1억 개가 넘는 고유 과제를 합성했다.

실무자가 읽어야 할 지점

한국의 IT 실무자 관점에서 이 릴리스의 의미는 두 갈래다. 첫째, 소형 모델의 실용성이다. 0.9B 모델은 AIME 2026에서 48점을 넘는 수학 추론과 함께 도구 사용, 간단한 에이전트 작업을 수행하면서 양자화 시 시계나 안경 같은 엣지 기기에서도 돌아갈 만큼 작다. 3.7B와 7B는 SWE-bench, BrowseComp 등에서 더 무거운 소프트웨어 엔지니어링과 다단계 워크플로를 감당한다. 온디바이스·로컬 배포를 검토하는 팀에게 실질적인 선택지가 넓어진 셈이다.

둘째, 재현성이다. 3.7B·7B·32B·36B-A4B가 정확히 같은 22조 토큰으로 학습됐고, 학습 진행도를 맞추고 최종 손실로 정규화하면 손실 궤적이 밀집·희소 구조와 파라미터 규모 차이를 넘어 거의 겹친다는 관찰은, 공유된 데이터와 공통 레시피 아래서 학습의 형태가 일관됨을 시사한다. 체크포인트와 로그가 함께 공개되므로 연구자와 개발자는 특정 능력이 어느 단계에서 출현하는지 추적하고, 개별 분기를 재현하거나 자체 도구·환경에 맞게 확장할 수 있다.

다만 한계도 분명하다. 광범위한 탐색과 반복적 복구가 필요한 TerminalBench류 과제는 가장 작은 모델에게 여전히 어렵다고 IFM 스스로 밝혔고, 공개된 성능 주장은 대부분 자체 평가에 근거한다. 또한 추론 모델과 에이전트 시대에 중요해진 추론 속도 문제—자기회귀 방식의 토큰 단위 생성 병목—에 대해서는 투기적 디코딩과 이산 확산의 한계만 언급됐을 뿐 구체적 해법은 이 발표에서 충분히 드러나지 않았다. 결국 K2 Horizon의 가치는 벤치마크 순위보다, 프런티어급 능력을 가진 모델의 '제작 과정'을 통째로 검증 가능하게 열었다는 데 있다. 그 개방이 실제 재현과 응용으로 이어질지는 이제 커뮤니티의 몫이다.