에이전트가 데이터를 다루는 방식이 바뀌면서, 검색 한 번의 비용과 지연이 서비스 경제성을 좌우하는 시대가 됐다. 데이터베이스 기업 Neon과 후속 학습(post-training) 플랫폼 Castform이 공개한 사례는 이 지점을 정면으로 겨냥한다. 4B 규모의 오픈소스 모델을 Castform으로 강화학습(RL) 후속 학습한 결과, 검색 결과 검색 정확도에서 프런티어 모델인 GPT-5.6 Sol에 필적하면서도 비용은 약 100분의 1 수준이었다는 주장이다. 수치의 검증은 별개로 하더라도, 왜 이런 접근이 지금 부상하는지는 실무자가 짚어둘 만하다.
원샷 검색에서 에이전트형 검색으로
검색 스택의 무게중심은 지난 몇 년 사이 두 번 이동했다. 2022년 무렵 업계는 임베딩 검색에 집중했다. 거의 모든 데이터베이스 제공사가 벡터 검색을 붙였고, Neon에서도 pgvector가 가장 많이 내려받는 확장이었다. LLM에 맥락을 넣기 위해 엔지니어들은 RAG 파이프라인을 손으로 짰고, 그 본질은 임베딩 유사도 검색이었다. 2025년으로 오면서 에이전트가 힘을 얻자 흐름이 다시 바뀌었다. 개발자들은 큰 문제를 잘게 나눠 여러 번 검색하는 멀티홉 워크플로를 만들기 시작했고, 검색은 한 번에 끝나는 시스템에서 모델이 계획하고 반복적으로 질의하는 '에이전트형 검색'으로 옮겨갔다.
문제는 비용 구조다. 루프가 한 번 돌 때마다 프런티어 모델을 다시 호출해야 하므로, 사용자 요청당 비용과 지연이 누적된다. 원문은 gpt-5.6-sol로 전형적인 멀티턴 검색 요청을 처리하면 종단 간 10초 이상이 걸리고 약 0.03달러가 든다고 밝힌다. 개별 값으로는 작아 보여도, 반복 호출과 대규모 트래픽이 겹치면 이 비용은 서비스 운영을 가로막는 벽이 된다.
작은 모델의 격차를 메우는 후속 학습
대안으로 지목되는 것이 오픈 웨이트 소형 모델이다. 이들은 대략 100배 저렴하지만, 기본 상태로는 폐쇄형 API 모델에 못 미친다. 이 격차를 좁히는 수단이 RL 후속 학습이다. 검색처럼 범위가 좁고 명확한 과제에서는, 후속 학습을 거친 오픈소스 모델이 요청당 비용을 자릿수 단위로 낮추면서도 프런티어 모델을 따라잡거나 앞설 수 있다는 것이 이 사례의 전제다. Castform은 개발자가 머신러닝과 GPU 내부를 직접 다루지 않고도 RL 후속 학습을 수행하도록 만드는 것을 목표로 하며, 후속 학습을 '프롬프트 엔지니어링만큼 접근 가능하게' 만들겠다고 표방한다.
RL 후속 학습이 제대로 돌아가려면 세 가지가 필요하다. 모델이 풀 과제(예: 사용자 질문에 답하기), 에이전트가 작동할 환경(예: 코퍼스를 뒤지는 검색 도구), 그리고 시도를 채점하는 보상 함수(예: 답이 맞았는가)다. 이 셋이 갖춰지면 학습은 시행착오의 루프가 된다. 모델이 도구를 써서 과제를 시도하고, 보상 함수가 점수를 매기며, 그 피드백이 모델을 최적점으로 끌어올린다. 여기서 실질적 병목은 대부분의 기업이 학습에 바로 쓸 수 있는 깨끗한 과제·보상 데이터셋을 갖고 있지 않다는 데 있다. 사내에는 지식이 담긴 방대한 독점 데이터가 있지만, 이를 효과적인 학습 데이터로 바꾸려면 상당한 데이터 엔지니어링과 수작업 라벨링이 든다. 많은 팀이 후속 학습을 포기하는 이유가 바로 이 진입 장벽이다.
코퍼스를 학습 과제로, 그리고 관측 가능성
Castform이 내세우는 해법은 기존 코퍼스를 학습 과제로 변환하고 RL 루프를 대신 관리해 주는 것이다. 생성된 질문-답변 데이터셋 위에서, 에이전트가 접근할 도구와 보상 함수를 지정해 학습을 구성한다. 이 사례의 보상 함수는 올바른 청크를 검색하고, 정확한 출처를 인용하며, 옳은 최종 답을 내놓는 능력을 겨냥하도록 설계됐다. 또한 보상이 단계마다 오르는 곡선을 모니터링하는 데 그치지 않고, 개별 과제와 프롬프트로 내려가 모델의 질적 행동을 관찰할 수 있어 도구 고장이나 보상 해킹(reward hacking) 같은 문제를 디버깅할 수 있다고 한다. 후속 학습에서 흔히 간과되는 관측 가능성을 전면에 내세운 점은 실무적으로 눈여겨볼 대목이다.
인프라 측면에서 이 파이프라인은 Neon의 Lakebase Search 위에서 돈다. 학습 중 에이전트는 충분한 맥락을 얻을 때까지 Lakebase Search를 반복 호출하는데, 수천 개의 병렬 롤아웃이 각각 수십 번씩 호출하면 부하가 극도로 몰렸다 빠지는 형태가 된다. Neon의 동적 컴퓨트 스케일링은 이 급증을 흡수해, Castform이 최대 용량을 상시 확보해 둘 필요 없이 수요가 튈 때만 저지연 검색을 받고 유휴 시엔 축소하도록 한다.
검색을 넘어 상태를 바꾸는 에이전트로
원문이 더 흥미롭게 보는 지점은 에이전트가 검색을 넘어 데이터를 변경하기 시작할 때다. 상태를 가진(stateful) 에이전트를 학습하려면, 한 롤아웃의 행동이 다른 롤아웃이나 운영 환경을 건드리지 않도록 값싸게 생성하고 리셋할 수 있는 격리 환경이 필요하다. Neon의 브랜칭은 각 롤아웃에 격리된 데이터베이스 상태를 줄 수 있고, 타임트래블 쿼리는 에이전트가 마주했던 상태를 재구성해 들여다보게 한다. 여기에 오토스케일링과 스케일 투 제로가 더해지면, 수천 개의 환경을 상시 켜두지 않고도 수천 개의 상태 기반 에이전트 롤아웃을 학습하는 길이 열린다는 구상이다.
다만 이 사례는 벤더가 자사 제품 조합의 강점을 설명하는 글이라는 점을 감안해 읽어야 한다. '100배 저렴', '10초 이상, 0.03달러' 같은 수치의 측정 조건, 비교에 쓰인 데이터셋과 과제 범위, 정확도가 어떤 지표로 '필적'했는지는 원문 수준에서 구체적으로 드러나지 않는다. 그럼에도 방향성은 분명하다. 범위가 좁고 반복 호출이 많은 검색 과제에서는, 사내 데이터를 재료 삼아 소형 오픈모델을 후속 학습하는 편이 프런티어 모델을 매 루프마다 호출하는 것보다 경제적일 수 있다는 것이다. 자체 코퍼스와 명확한 정답 신호를 이미 가진 팀이라면, 비용·지연이 문제 되는 검색 경로부터 이 접근의 실효성을 가늠해 볼 만하다.