AI 에이전트를 위한 코드 검색 도구 Semble, grep보다 토큰 98% 절감하는 비결

AI 코딩 에이전트의 숨겨진 비용, '컨텍스트 낭비'

요즘 Cursor, Claude Code, Cline 같은 AI 코딩 에이전트를 안 써본 개발자가 거의 없을 정도로 흔해졌죠. 그런데 막상 큰 코드베이스에서 써보면 답답한 경험을 한 번쯤은 해보셨을 거예요. 예를 들어 "인증 관련 함수를 찾아줘"라고 시키면, 에이전트는 grep이나 ripgrep 같은 도구로 'auth'라는 키워드를 검색하고, 매칭되는 파일 수십 개를 통째로 읽기 시작하거든요. 그러다 보면 한 번 질문에 토큰을 수만 개씩 써버리는 일이 비일비재해요.

토큰이 뭐냐면, AI가 한 번에 처리하는 글자 단위라고 생각하시면 돼요. 영어 기준으로 대략 4글자가 1토큰 정도인데, Claude나 GPT 같은 모델은 한 번에 처리할 수 있는 토큰 수가 정해져 있어요. 컨텍스트 윈도우라고 부르죠. 이게 가득 차버리면 에이전트가 앞부분 내용을 잊어버리거나, 비용이 어마어마하게 늘어나요. 그래서 "AI 에이전트에게 적절한 정보만 골라서 주는 기술"이 요즘 굉장히 뜨거운 분야가 됐어요.

이번에 MinishLab에서 공개한 Semble이 바로 이 문제를 정조준한 오픈소스 프로젝트예요. 한 마디로 "AI 에이전트 전용 코드 검색 엔진"인데, 기존 grep 대비 토큰 사용량을 98%까지 줄여준다고 해요.

Semble은 어떻게 동작할까

핵심 아이디어는 의외로 단순해요. grep은 그냥 문자열을 매칭해서 파일 전체 또는 매칭된 줄 주변 컨텍스트를 통째로 뱉어내요. 반면 Semble은 코드를 AST(추상 구문 트리, Abstract Syntax Tree) 단위로 파싱해서 인덱싱해요. AST가 뭐냐면, 코드를 컴퓨터가 이해하는 구조로 쪼개놓은 트리 형태의 데이터예요. 함수, 클래스, 변수가 각각 노드가 되는 거죠.

그래서 "login 함수를 찾아줘"라고 하면, 단순히 'login'이라는 글자가 들어간 모든 줄을 보여주는 게 아니라, 실제로 login이라는 이름의 함수 정의만 정확히 골라서 반환해요. 게다가 그 함수의 시그니처, 즉 함수 이름과 인자 정보만 먼저 보여주고, 본문은 필요할 때만 가져오게 설계되어 있어요. 마치 책의 목차를 먼저 보여주고, 관심 있는 챕터만 펼쳐 읽는 방식이라고 생각하면 돼요.

또 하나 흥미로운 점은 의미 기반 검색(semantic search) 도 같이 지원한다는 거예요. 임베딩이라는 기술을 써서, "비밀번호 검증 로직"이라고 자연어로 검색해도 verifyPassword, checkCredentials 같은 함수를 찾아줘요. 이건 MinishLab이 원래 Model2Vec 같은 가벼운 임베딩 모델로 유명한 팀이라 가능한 조합이에요.

기존 도구들과 뭐가 다른가

비슷한 영역에 있는 도구들로는 GitHub의 Code Search, Sourcegraph, ast-grep 같은 게 있어요. ast-grep도 AST 기반 검색을 하지만, 주로 사람이 직접 패턴을 짜서 쓰는 도구라 에이전트가 자율적으로 활용하기엔 좀 무거워요. Sourcegraph는 강력하지만 엔터프라이즈 솔루션 성격이 강하고요.

Semble의 포지셔닝은 명확해요. "에이전트가 호출하는 MCP 도구" 로서 최적화되어 있다는 거예요. MCP가 뭐냐면 Model Context Protocol의 줄임말인데, Anthropic이 만든 "AI 에이전트가 외부 도구를 호출하는 표준 규격"이에요. 요즘 Claude Desktop이나 여러 에이전트 프레임워크에서 MCP 서버를 붙여서 기능을 확장하는 게 일반적이거든요. Semble은 처음부터 이 환경을 염두에 두고 설계됐어요.

토큰 98% 절감이라는 수치도 이 맥락에서 봐야 정확해요. 그냥 grep으로 'auth' 검색했을 때 30,000 토큰이 나왔다면, Semble은 같은 작업에 600 토큰 정도만 쓴다는 거예요. 정보의 밀도가 훨씬 높은 거죠. 비용으로 환산하면 Claude Opus 같은 비싼 모델 쓸 때 한 달에 수십만 원 차이가 날 수도 있어요.

한국 개발자에게 주는 시사점

사내에 자체 AI 코딩 에이전트를 도입하려는 팀이라면 Semble을 한 번 검토해볼 만해요. 특히 모노레포처럼 거대한 코드베이스에서 에이전트가 헤매는 문제로 골치 아팠던 분들에게는 즉각적인 효과를 볼 수 있을 거예요. 설치도 pip이나 npm 한 줄이면 끝나고, MCP 호환 에이전트에 바로 붙일 수 있어요.

좀 더 큰 그림에서 보면, 이건 "AI 시대의 개발 도구는 어떻게 다시 설계되어야 하는가"라는 질문에 대한 좋은 사례예요. grep, find, ls 같은 유닉스 도구는 사람이 쓰기 위해 만들어졌잖아요. 그런데 이제는 AI가 1차 사용자가 되는 도구를 새로 만들어야 하는 시대가 온 거예요. 출력 포맷부터 검색 인덱스 구조까지, 모든 게 "토큰 효율"을 1순위로 두고 재설계되고 있어요.

개인 사이드 프로젝트에서 직접 에이전트를 만들어보고 싶은 분이라면, Semble 소스 코드 자체가 좋은 학습 자료가 될 거예요. AST 파싱, 임베딩 인덱싱, MCP 서버 구현이 한 저장소에 다 들어있거든요.