무슨 일이 있었나요?
YC S25 배치 스타트업 Magnitude가 '에이전트를 위한 자가 최적화 추론 엔진'을 오픈소스로 공개했어요. AI 에이전트를 직접 만들어보신 분이라면 공감하실 텐데요, 에이전트는 생각보다 느리고 비싸요. 사용자 요청 하나를 처리하려고 모델을 수십 번씩 호출하는 일이 흔하거든요. 계획 세우고, 도구 호출하고, 결과 확인하고, 다시 계획하고... 그때마다 긴 시스템 프롬프트와 도구 설명을 매번 다시 보내야 하죠. Magnitude는 바로 이 지점을 겨냥한 프로젝트예요.
추론 엔진이 뭐고, 왜 에이전트용이 따로 필요할까요?
추론 엔진(inference engine)이 뭐냐면, 학습이 끝난 모델을 실제로 돌려서 답을 뽑아내는 실행기예요. vLLM, SGLang, TensorRT-LLM 같은 것들이 대표적이죠. 이들은 주로 '여러 사용자의 채팅 요청을 GPU 위에서 얼마나 효율적으로 동시에 처리하느냐'에 집중해왔어요.
그런데 에이전트의 작업 패턴은 일반 채팅과 꽤 달라요. 우선 같은 앞부분이 계속 반복돼요. 시스템 프롬프트, 도구 정의, 지금까지의 작업 기록이 매 호출마다 거의 그대로 들어가거든요. 또 호출이 순차적으로 이어져요. 앞 단계 결과를 봐야 다음 단계를 할 수 있으니 지연 시간이 고스란히 쌓이죠. 게다가 비슷한 작업이 반복되는 경우가 많아요. 같은 사이트에 로그인하고, 같은 형식의 보고서를 만드는 식으로요. 출력도 대부분 JSON 같은 정해진 형식의 도구 호출이고요.
매일 같은 출근길을 가는 사람에게 지도 앱이 매번 처음부터 경로를 계산해주는 상황을 떠올려보세요. 반복되는 패턴만 기억해도 훨씬 빨라질 수 있잖아요.
'자가 최적화'는 무슨 뜻일까요?
자가 최적화라는 표현은, 엔진이 실제 에이전트 실행 기록을 관찰하면서 스스로 더 빠르고 싼 실행 방법을 찾아간다는 의미로 읽혀요. 이 분야에서 흔히 쓰이는 기법들을 보면 어떤 방향인지 감이 오실 거예요.
- 프리픽스 캐싱: 반복되는 앞부분의 계산 결과(KV 캐시)를 재사용해서 매번 다시 계산하지 않아요. SGLang의 RadixAttention이 대표적이에요.
- 모델 라우팅: 쉬운 단계는 작고 싼 모델에, 어려운 판단만 큰 모델에 맡겨요.
- 궤적 재사용: 예전에 성공한 작업 흐름을 기억해뒀다가 비슷한 요청이 오면 참고하거나 그대로 재생해요.
- 프롬프트 최적화: DSPy처럼 실행 결과를 바탕으로 프롬프트 자체를 개선해요.
업계 맥락
지금 에이전트 인프라는 크게 두 층으로 나뉘어 있어요. 아래층에는 vLLM, SGLang처럼 GPU 효율을 극대화하는 범용 서빙 엔진이 있고, 위층에는 LangGraph, CrewAI, OpenAI Agents SDK 같은 오케스트레이션 프레임워크가 있어요. 그 사이에 Anthropic이나 OpenAI가 API 차원에서 제공하는 프롬프트 캐싱 같은 최적화도 있고요.
Magnitude 같은 프로젝트가 흥미로운 건 이 두 층 사이, 즉 '에이전트가 어떻게 움직이는지 아는 추론 계층'을 노린다는 점이에요. 범용 엔진은 에이전트의 맥락을 모르고, 프레임워크는 실행 수준의 최적화를 못 하니까 그 틈을 메우겠다는 거죠. 다만 자가 최적화는 양날의 검이기도 해요. 캐시된 궤적이 상황에 안 맞는 행동을 재생하거나, 작은 모델로 라우팅했다가 품질이 떨어지면 디버깅이 훨씬 어려워지거든요.
한국 개발자에게 주는 시사점
사내에서 업무 자동화 에이전트를 만들고 있다면 비용과 지연 시간 측정부터 해보세요. 에이전트 한 번 실행에 모델 호출이 몇 번, 토큰이 얼마나 드는지 알아야 이런 엔진의 효과도 판단할 수 있어요. 당장 Magnitude를 도입하지 않더라도 프롬프트 앞부분을 고정해서 캐시 효율을 높이고, 쉬운 단계는 작은 모델로 돌리는 것만으로도 체감할 만한 절감이 가능해요.
그리고 최적화를 적용할수록 평가 세트가 중요해져요. 빨라졌는데 정확도가 떨어졌는지 확인할 기준이 없으면, 자가 최적화는 그냥 이해할 수 없는 블랙박스가 되거든요.
마무리
핵심 한줄: 에이전트 시대의 병목은 모델 성능만이 아니라 반복 호출의 비용과 지연이고, 이를 실행 계층에서 스스로 줄이려는 시도가 본격화되고 있어요.
여러분 팀의 에이전트는 작업 하나에 모델을 몇 번이나 호출하나요? 비용과 속도를 줄이려고 어떤 방법을 써보셨는지 궁금해요.
🔗 출처: Hacker News