AI 에이전트를 만들다 보면 의외의 복병을 만나요. 기능은 잘 돌아가는데 토큰이 줄줄 새는 거예요. 특히 MCP로 외부 도구를 연결하면 도구가 주고받는 데이터가 전부 컨텍스트에 쌓이면서 비용이 훅 올라가는데요. 이 문제를 포맷 차원에서 공략한 Mcptoon이라는 오픈소스 CLI 클라이언트가 공개됐어요.
먼저 MCP가 뭔지부터
MCP(Model Context Protocol)는 앤트로픽이 공개한 오픈 표준인데요. LLM을 외부 도구나 데이터베이스, API에 연결하는 방법을 통일한 규격이에요. 비유하자면 AI 세계의 USB-C 같은 거예요. 예전에는 AI 앱마다 GitHub 연동, 슬랙 연동을 제각각 구현해야 했는데, MCP 덕분에 한 번 만든 서버를 어떤 AI 클라이언트에서든 꽂아 쓸 수 있게 됐죠. 지금은 OpenAI와 구글까지 채택하면서 사실상 업계 표준이 됐어요.
그런데 왜 토큰이 문제냐면
MCP 도구가 반환하는 결과는 보통 JSON이에요. 그리고 JSON은 사람과 기계 모두에게 친절한 대신 상당히 수다스러운 포맷이거든요. 중괄호, 대괄호, 따옴표가 사방에 붙고, 무엇보다 객체 배열에서는 같은 키 이름이 항목마다 반복돼요. 예를 들어 사용자 100명의 목록을 받으면 "id", "name", "email" 같은 키가 100번씩 등장하는 거예요. LLM 입장에서는 이게 전부 토큰이고, 토큰은 곧 돈이자 컨텍스트 윈도우 용량이에요. 에이전트가 도구를 수십 번 호출하는 작업이라면 이 낭비가 눈덩이처럼 불어나요.
TOON은 이걸 어떻게 줄이나
여기서 등장하는 게 TOON(Token-Oriented Object Notation)이라는 직렬화 포맷이에요. 핵심 아이디어는 단순해요. 같은 구조가 반복되는 배열 데이터라면, 키를 매번 반복하는 대신 CSV처럼 첫 줄에 필드 이름을 한 번만 선언하고 그 아래에 값만 쭉 나열하는 거예요. YAML처럼 들여쓰기로 구조를 표현해서 중괄호와 따옴표도 대부분 걷어내고요. 이렇게 하면 같은 데이터를 JSON 대비 30~60% 적은 토큰으로 표현할 수 있어요. 표 형태의 데이터일수록 절감 폭이 커지죠.
Mcptoon은 이 아이디어를 MCP에 접목한 CLI 클라이언트예요. MCP 서버에 연결해서 도구 목록을 조회하고 호출하는 것까지는 일반 클라이언트와 같은데, 서버가 돌려준 JSON 응답을 TOON으로 변환해서 모델에게 전달하는 거죠. 터미널에서 바로 쓸 수 있으니 기존 에이전트 파이프라인 중간에 끼워 넣기도 좋고요.
업계 전체가 같은 고민을 하고 있어요
사실 'MCP는 토큰을 너무 먹는다'는 건 요즘 에이전트 개발 판의 공통 화두예요. 앤트로픽도 도구 결과를 컨텍스트에 전부 넣지 않고 코드 실행 환경에서 가공한 뒤 필요한 부분만 모델에 넘기는 패턴을 제안했었고, 도구 정의를 필요할 때만 불러오는 지연 로딩 방식도 있죠. TOON 방식은 그중에서 도입 장벽이 가장 낮은 접근이에요. 아키텍처를 바꾸지 않고 직렬화 포맷만 갈아끼우면 되니까요. 다만 모델이 TOON 구조를 얼마나 잘 해석하는지는 모델과 데이터 형태에 따라 편차가 있어서, 자기 워크로드로 정확도를 검증해보고 쓰는 게 좋아요.
한국 개발자에게는
API 비용에 민감한 스타트업이나 사이드 프로젝트라면 바로 체감할 수 있는 절감 포인트예요. 특히 사내 데이터베이스 조회처럼 표 형태 데이터를 대량으로 주고받는 에이전트를 만들고 있다면 효과가 클 거예요. 도입하지 않더라도, 자기 에이전트에서 JSON과 TOON의 토큰 수를 직접 비교해보는 것만으로 컨텍스트 관리 감각이 확 늘 거고요.
정리하면, 에이전트 시대의 비용 최적화가 이제 직렬화 포맷 수준까지 내려왔다는 신호예요. 여러분의 에이전트에서는 토큰이 어디서 제일 많이 새고 있나요?
🔗 출처: Hacker News