오픈 모델을 로컬에서 돌리려는 개발자에게 가장 큰 장벽은 모델 자체보다 실행 성능인 경우가 많다. 같은 가중치라도 어떤 추론 엔진 위에서, 어떤 칩에 맞춰 돌아가느냐에 따라 체감 속도가 크게 달라지기 때문이다. YC S25 배치로 공개된 오픈소스 프로젝트 매그니튜드(Magnitude)는 바로 이 지점을 겨냥한다. 에이전트용 추론 엔진을 표방하면서, 범용 엔진이 아니라 사용자의 실제 하드웨어에 스스로를 맞추는 방식을 내세운다.
범용이 아니라 내 칩에 맞추는 컴파일
매그니튜드의 핵심 아이디어는 커널을 실행 환경에 맞춰 현장에서 컴파일하고 튜닝한다는 점이다. 일반적인 추론 엔진은 넓은 범주의 하드웨어를 대상으로 미리 컴파일된 커널을 배포한다. 다양한 기기에서 무난히 동작하도록 만든 이 방식은 반대로 말하면 특정 칩에 완벽히 들어맞지는 않는다는 의미다. 매그니튜드는 모델을 실행하기 전에 사용자의 기기에서 커널을 컴파일하고 튜닝해 해당 칩에 맞도록 조정한다. 프로젝트 측은 이 방식으로 오픈 모델이 llama.cpp 대비 최대 2배까지 빠르게 동작한다고 설명하며, 비교 벤치마크를 함께 제공한다고 밝히고 있다.
여기서 유의할 표현은 '최대'다. 최대 2배라는 수치는 특정 조건에서의 상한선이며, 모든 모델과 하드웨어 조합에서 두 배가 보장된다는 뜻은 아니다. 또한 이 성능 향상은 매그니튜드가 인기 있는 오픈 웨이트 모델 계열에 대해 최적화된 커널을 직접 작성했기 때문에 가능하다고 설명된다. 다시 말해 지원 모델 목록에 포함된 계열에서 이점이 두드러지는 구조이며, 범용 엔진이 폭넓은 호환성을 택한 대가로 놓치는 성능을 특정 계열에 집중해 회수하는 전략이라고 볼 수 있다. 실무자 입장에서는 자신이 주로 쓰는 모델이 이 최적화 대상에 들어가는지를 먼저 확인하는 것이 합리적이다.
이미 쓰던 에이전트에 그대로 연결
매그니튜드는 데스크톱 앱 형태로 배포되며, 그 안에 magnitude CLI가 함께 들어 있어 별도 설치가 필요 없다. macOS, 윈도우, 리눅스를 모두 지원한다. 눈에 띄는 부분은 기존 에이전트 도구와의 연결이다. Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline 같은 도구를 한 번의 클릭으로 붙일 수 있다고 한다. 목록에 없는 도구라도 OpenAI 호환 API를 통해 연동이 가능하다. 즉 에이전트 워크플로 자체를 새로 배울 필요 없이, 이미 익숙한 클라이언트의 백엔드를 로컬 엔진으로 바꾸는 형태에 가깝다.
하드웨어 요건도 유연하게 잡혀 있다. 애플 실리콘, 엔비디아, AMD GPU는 물론 GPU 없이 CPU만으로도 동작하며, 고정된 최소 사양이 따로 없다고 설명된다. 대신 작은 기기에서는 작은 모델을, 메모리가 넉넉한 기기에서는 더 큰 모델을 돌리는 식으로 하드웨어 규모에 따라 실행 가능한 모델 크기가 달라진다. 성능 하한을 강제하지 않는 대신 사용자가 자기 환경에 맞는 모델을 고르도록 여지를 두는 방식이다.
로컬 실행이 주는 것과 남는 과제
프라이버시 측면은 이 프로젝트의 또 다른 축이다. 프롬프트, 파일, 모델이 모두 사용자 기기 안에 머무르며, 모델을 한 번 내려받은 뒤에는 인터넷 연결 없이 사용할 수 있다고 한다. 외부로 데이터를 보내지 않아도 되는 환경, 예컨대 보안 정책이 엄격한 조직이나 오프라인 작업이 필요한 상황에서는 이 점만으로도 검토할 이유가 생긴다. 클라우드 API 호출에 드는 비용과 지연, 데이터 유출 우려를 동시에 줄이려는 흐름과도 맞닿아 있다.
다만 냉정하게 볼 지점도 있다. 공개된 자료는 개념과 강점 위주이며, 벤치마크의 구체적 조건이나 지원 모델의 범위, 현장 컴파일에 소요되는 초기 시간 같은 실무 변수는 직접 확인이 필요하다. 로컬 실행은 데이터 통제권을 주는 대신 하드웨어 한계 안에서 모델 크기와 품질이 결정되므로, 최신 대형 모델급의 결과를 기대하기보다는 감당 가능한 규모의 오픈 모델을 최대한 빠르게 돌리는 쪽에 가치가 있다. 결국 매그니튜드가 던지는 질문은 분명하다. 범용성을 조금 양보하고 내 기기에 정밀하게 맞추면 오픈 모델을 어디까지 실용적으로 밀어붙일 수 있는가. 오픈소스로 공개된 만큼 각자의 환경에서 벤치마크를 직접 돌려보고 판단하는 것이 가장 확실한 검증이 될 것이다.