Mamba-3 공개 — Transformer 없이도 대규모 언어 모델이 가능할까

Transformer의 대안을 찾아서

2017년 "Attention Is All You Need" 논문 이후, Transformer 아키텍처는 AI의 사실상 표준이 되었습니다. GPT, Claude, Gemini, LLaMA 등 우리가 아는 거의 모든 대규모 언어 모델(LLM)이 Transformer를 기반으로 합니다. 하지만 Transformer에는 근본적인 한계가 있습니다. 입력 시퀀스 길이의 제곱에 비례해서 연산량이 증가하는 셀프 어텐션(self-attention)의 계산 복잡도입니다. Together AI가 공개한 Mamba-3는 이 한계를 다른 방식으로 돌파하려는 시도의 최신 결과물입니다.

Mamba 아키텍처란 무엇인가

Mamba를 이해하려면 먼저 상태 공간 모델(State Space Model, SSM)이라는 개념을 알아야 합니다. SSM은 원래 제어 이론과 신호 처리에서 사용되던 수학적 프레임워크로, 시스템의 내부 상태가 입력에 따라 어떻게 변화하는지를 기술합니다.

Transformer의 어텐션은 시퀀스의 모든 토큰 쌍을 비교합니다. 1,000개의 토큰이 있으면 1,000 × 1,000 = 100만 번의 비교가 필요하고, 10,000개면 1억 번입니다. 이것이 긴 컨텍스트 처리가 비싸지는 근본 원인입니다.

SSM 기반의 Mamba는 이 문제를 완전히 다른 방식으로 접근합니다. 모든 토큰 쌍을 비교하는 대신, 내부 상태(hidden state)를 유지하면서 시퀀스를 순차적으로 처리합니다. 마치 RNN처럼 들리지만, 핵심 차이는 선택적 상태 공간(selective state space) 메커니즘에 있습니다. 입력에 따라 상태 전이 매트릭스가 동적으로 변하기 때문에, 어떤 정보를 기억하고 어떤 정보를 잊을지를 데이터에 따라 적응적으로 결정할 수 있습니다.

이 접근 방식의 가장 큰 이점은 선형 복잡도입니다. 시퀀스 길이에 비례해서 연산량이 증가하므로, 매우 긴 시퀀스도 효율적으로 처리할 수 있습니다.

Mamba-3에서 달라진 점

Mamba-3는 이전 버전에서 상당한 아키텍처 개선을 이뤘습니다. 가장 눈에 띄는 변화는 하이브리드 아키텍처의 도입입니다. 순수한 SSM만 사용하는 대신, SSM 레이어와 어텐션 레이어를 전략적으로 결합합니다. 이는 실용적인 타협입니다 — SSM이 긴 시퀀스 처리에 효율적이지만, 특정 유형의 패턴 매칭에서는 어텐션이 여전히 강점을 보이기 때문입니다.

Together AI의 벤치마크에 따르면, Mamba-3는 동일 크기의 Transformer 모델과 비교해 경쟁력 있는 성능을 보이면서도 추론 속도와 메모리 효율에서 상당한 이점을 제공합니다. 특히 긴 컨텍스트 시나리오에서 그 차이가 두드러집니다.

학습 측면에서도 개선이 있습니다. Mamba-3는 기존 Transformer 모델의 학습 인프라와 호환되도록 설계되어, 기존에 Transformer용으로 구축된 학습 파이프라인을 크게 수정하지 않고도 활용할 수 있습니다. 이는 실제 도입 장벽을 크게 낮추는 요소입니다.

경쟁 구도와 업계 흐름

Transformer의 대안을 찾는 연구는 Mamba만이 아닙니다. Google의 RWKV, Microsoft의 RetNet, 그리고 다양한 선형 어텐션(linear attention) 변형들이 경쟁하고 있습니다. 이들의 공통 목표는 같습니다 — 어텐션의 이차 복잡도를 피하면서 Transformer 수준의 모델링 능력을 유지하는 것.

Mamba 시리즈가 이 경쟁에서 주목받는 이유는 이론적 우아함과 실용적 성능을 함께 갖추었기 때문입니다. 순수 학술 연구에서 시작해 Together AI라는 상업적 주체가 적극적으로 발전시키고 있다는 점도 실용화 가능성을 높이는 요소입니다.

다만 현실적으로 Transformer 생태계의 관성은 엄청납니다. CUDA 커널 최적화, 학습 프레임워크, 서빙 인프라 등이 모두 Transformer에 맞춰져 있기 때문에, 대안 아키텍처가 성능에서 동등하더라도 생태계 측면에서는 상당한 불리함이 있습니다.

한국 개발자에게 주는 시사점

LLM을 서비스에 통합하는 개발자라면 Mamba-3를 직접 사용할 일은 아직 많지 않을 수 있습니다. 하지만 이 흐름을 이해해두는 것은 중요합니다. 긴 컨텍스트 처리가 필요한 RAG 시스템이나 문서 분석 파이프라인을 설계할 때, SSM 기반 모델이 Transformer보다 비용 효율적인 선택이 될 수 있는 시점이 다가오고 있기 때문입니다.

ML 엔지니어라면 Mamba-3의 코드를 직접 살펴보는 것을 추천합니다. SSM의 구현, 하이브리드 아키텍처의 설계 결정, 학습 최적화 기법 등을 배울 수 있는 좋은 자료입니다.

정리

Mamba-3는 "Transformer 이후"의 아키텍처가 어떤 모습일지 보여주는 가장 구체적인 사례 중 하나입니다. 아직 Transformer를 대체하는 것은 아니지만, 두 아키텍처가 공존하거나 하이브리드로 결합되는 미래가 점점 현실에 가까워지고 있습니다. 여러분은 Transformer의 지배가 앞으로도 계속될 것이라고 보시나요, 아니면 대안 아키텍처가 특정 영역에서 주류가 될 수 있다고 생각하시나요?