Cursor가 공개한 초고속 정규식 검색 — AI 에이전트는 코드를 어떻게 찾을까

AI 코딩 도구의 숨겨진 과제: 코드 검색 속도

AI 코딩 도구를 쓸 때, 우리는 보통 LLM이 얼마나 똑똑한지에만 관심을 가지잖아요. 그런데 사실 그 뒤에는 완전히 다른 종류의 기술적 도전이 숨어있어요. 바로 "AI 에이전트가 코드베이스에서 필요한 정보를 얼마나 빠르게 찾느냐"의 문제예요. AI 코딩 에디터 Cursor 팀이 바로 이 문제를 해결한 과정을 공개했는데, 꽤 흥미로운 엔지니어링 이야기에요.

Cursor의 에이전트 기능을 써보신 분은 아실 텐데, 에이전트가 코드를 수정하려면 먼저 관련 파일과 함수를 찾아야 해요. 이때 정규식(regex) 검색을 쓰는 경우가 많은데, 수만 개의 파일이 있는 대규모 코드베이스에서 정규식 검색을 매번 처음부터 돌리면 너무 느리거든요. 에이전트가 한 번의 작업에서 검색을 수십 번씩 하니까, 이 속도가 전체 사용자 경험을 좌우하는 거예요.

트라이그램 인덱싱이라는 해법

Cursor 팀이 택한 핵심 전략은 트라이그램(trigram) 인덱싱이에요. 이게 뭐냐면, 텍스트를 3글자씩 잘라서 미리 인덱스를 만들어두는 방식이에요. 예를 들어 "function"이라는 단어가 있으면 "fun", "unc", "nct", "cti", "tio", "ion" 같은 3글자 조각들을 만들고, 각 조각이 어느 파일에 있는지를 기록해두는 거죠.

그러면 나중에 "function"을 검색할 때, 이 단어에 포함된 모든 트라이그램이 동시에 존재하는 파일만 먼저 추려낸 다음, 그 파일들에서만 정규식을 돌리면 돼요. 도서관에서 책을 찾을 때 모든 책장을 뒤지는 대신 색인 카드를 먼저 확인하는 것과 같은 원리예요. 검색 대상이 확 줄어드니까 속도가 엄청나게 빨라지는 거죠.

이 방식 자체는 사실 새로운 건 아니에요. 구글의 Code Search나 Zoekt 같은 코드 검색 도구에서도 쓰이는 검증된 기법이거든요. Cursor의 차별점은 이걸 에디터 안에서 실시간으로, 파일이 수정될 때마다 인덱스를 즉각 업데이트하면서 동작하게 만든 부분이에요.

인덱스 구축과 업데이트의 균형

여기서 어려운 점은 인덱스를 유지보수하는 비용이에요. 코드를 편집할 때마다 인덱스를 통째로 다시 만들면 그것도 느려지니까, 변경된 파일만 골라서 인덱스를 부분 업데이트하는 전략이 필요해요. Cursor 팀은 파일 시스템 감시(file watcher)를 활용해서 변경된 파일을 추적하고, 해당 파일의 트라이그램만 갱신하는 방식으로 이 문제를 해결했어요.

또한 메모리 사용량도 중요한 고려사항이었대요. 수만 개 파일의 트라이그램 인덱스를 메모리에 올리면 상당한 양이 되거든요. 이를 위해 비트맵 기반의 압축 기법을 적용해서, 인덱스 크기를 실용적인 수준으로 줄였다고 해요.

정규식의 특수한 도전

단순 문자열 검색이면 트라이그램만으로 충분한데, 정규식은 와일드카드(.*), 문자 클래스([a-z]), 선택(a|b) 같은 복잡한 패턴을 지원해야 해요. Cursor 팀은 정규식 패턴을 분석해서 "이 정규식이 매치되려면 최소한 이 트라이그램들은 반드시 포함되어야 한다"는 조건을 추출하는 방식을 썼어요. 이걸 통해 불가능한 파일을 빠르게 걸러내고, 나머지에서만 실제 정규식 매칭을 수행하는 거죠.

예를 들어 func[A-Z] 같은 정규식이 있으면, "fun"과 "unc" 트라이그램이 반드시 있어야 한다는 걸 미리 파악할 수 있어요. 이렇게 하면 전체 파일 중 아주 적은 수만 실제로 정규식 엔진을 돌리게 되니까 엄청난 속도 향상이 가능한 거예요.

경쟁 도구들과의 비교

ripgrep 같은 빠른 검색 도구가 이미 있는데 왜 직접 만들었을까 궁금할 수 있어요. ripgrep은 인덱스 없이 매번 파일을 스캔하는 방식이라 단일 검색은 빠르지만, 같은 코드베이스에서 반복 검색을 할 때는 인덱스 기반 접근이 압도적으로 유리해요. 에이전트가 한 작업에서 검색을 수십 번 반복하는 상황에서는 이 차이가 크게 벌어지는 거죠.

Sourcegraph의 Zoekt도 트라이그램 인덱싱을 쓰지만, 서버 기반 코드 검색 도구라서 로컬 에디터에 내장하기에는 무거워요. Cursor는 이 핵심 아이디어를 가져오되, 에디터 플러그인 환경에 맞게 경량화한 셈이에요.

한국 개발자에게 주는 시사점

AI 코딩 도구를 "잘" 쓰려면 단순히 프롬프트를 잘 쓰는 것만으로는 부족하다는 걸 보여주는 사례예요. 도구의 내부 동작 원리를 이해하면 왜 특정 상황에서 에이전트가 느리거나 부정확한지 감을 잡을 수 있거든요.

또한 트라이그램 인덱싱 같은 기법은 AI 도구 개발뿐 아니라 사내 코드 검색 시스템, 로그 분석 도구 등을 만들 때도 바로 활용할 수 있어요. 특히 대규모 모노레포를 운영하는 팀이라면, 코드 검색 속도 개선이 개발 생산성에 직접적인 영향을 주니까 한번 살펴볼 만한 주제예요.