코딩 에이전트는 어떤 서드파티를 고를까: 1만7천 세션 실측 실험

코딩 에이전트에게 "이메일 발송 기능을 붙여줘"라고 요청하면, 에이전트는 SendGrid를 쓸까, Resend를 쓸까, 아니면 직접 SMTP를 구현할까. Armature.tech가 공개한 실험은 이 질문을 단순 추천이 아니라 실제 구현 단계까지 밀어붙여 측정했다는 점에서 눈길을 끈다. 연구진은 Claude Code, Codex, Cursor 세 가지 에이전트를 대상으로 약 1만6,893회의 세션을 돌렸고, 1,163개의 프롬프트 변형과 75개 저장소를 사용했다. 핵심은 에이전트가 "이걸 추천합니다"라고 답하고 끝내는 것이 아니라, 저장소 안에서 실제로 코드를 작성해 문제를 해결하도록 시켰다는 데 있다.

편향을 걷어낸 실험 설계

실험의 출발점은 수천 개의 공개 GitHub 저장소 분석이었다. 여기서 프로그래밍 언어와 프레임워크, 사용 중인 서드파티 서비스, 배포 플랫폼, 팀 규모, 코드베이스의 나이 같은 통계를 뽑아냈다. 다만 오픈소스 저장소는 대기업보다 기술 스타트업 쪽에 크게 치우쳐 있어 실제 산업 분포와는 다르다. 연구진은 공개 데이터를 활용해 이 편향을 보정한 뒤 이상적인 패널 분포를 정했고, 그 조건에 맞춰 에이전트로 실제와 유사한 저장소들을 만들어냈다. 최종적으로 10개 언어로 된 75개 저장소가 만들어졌는데, 회사명·깃 히스토리·API 키는 모두 가짜지만 lockfile만큼은 npm 같은 실제 패키지 레지스트리와 대조해 진짜 값을 사용했다. 특정 서드파티 구현을 통째로 들어낸 변형본을 만들어, 에이전트가 빈자리를 어떤 선택으로 채우는지 관찰할 수 있게 한 점도 설계의 핵심이다.

각 실험은 4개의 프로필(페르소나)이 저장소 안에서 실제 작업을 요청하는 형태로 진행됐다. 프롬프트는 대체로 간결하고 직접적이었으며, 예시로 제시된 "이제 우리가 생성하는 각 청구서가 사용자 이메일 주소로 멋진 메시지와 함께 발송되도록 최적의 해법을 찾아 구현해줘"가 그 성격을 잘 보여준다. 전체의 20~25% 사례에서는 비용이나 사용량 규모 같은 조건을 프롬프트에 덧붙여 결과가 어떻게 달라지는지도 함께 시험했다.

'사람 흉내' 오케스트레이터가 바꾼 결과

실제 개발 대화는 프롬프트 한 번으로 끝나지 않는다. 연구진은 이 점을 반영해 Gemini 3.7 Flash를 오케스트레이터로 세워 '사람 역할'을 대신하게 했다. 이 가상의 사람은 에이전트에게 먼저 코드베이스를 분석하고 최선의 해법을 추천하게 한 뒤, 항상 1순위 해법을 택하거나 에이전트에게 직접 고르라고 지시했다. 이 절차가 중요한 이유가 있다. 처음부터 질문 없이 곧바로 구현하라고만 시키면, 에이전트는 특정 서드파티를 골라도 되는지 승인받을 방법이 없어 모든 것을 자체 구현하는 쪽으로 쏠렸다. 사람을 개입시키자 시장 선두 업체나 클라우드 네이티브 기본 서비스의 독점적 우위가 완화되며 더 현실적인 그림이 나타났다. 오브젝트 스토리지 실험에서는, 이전에는 늘 Amazon S3를 쓰던 세션에서 Cloudflare R2가 이기기 시작했다는 사례가 제시됐다. 세션 분석에는 또 다른 Gemini 3.7 Flash 인스턴스가 투입돼 결과를 해석하는 역할을 맡았다. 각 실험은 격리된 일회용 샌드박스에서 실행됐고, 결론이 환경에 좌우되지 않도록 E2B·Blaxel·Daytona 세 공급자를 번갈아 썼다.

실무자가 읽어야 할 대목

1만6,893회의 실행 중 이번 1차 공개분으로 채택된 것은 51개 코드베이스, 18개 산업군에 걸친 5,292개 세션이다. 나머지 1만여 건은 폐기된 것이 아니라 2차 공개로 이어질 수 있고, 트레이스 전체가 공개됐으므로 누구든 직접 재분석할 수 있다. 연구진이 먼저 꼽은 관찰 중 눈에 띄는 것은, 잘 알려진 유명 서비스들이 거의 모든 대화에서 언급은 되지만 실제 선택으로는 이어지지 않는다는 점이다. 현실에서는 사람의 개입 덕에 이들 중 일부가 여전히 채택되겠지만, 언급 빈도와 실제 채택률의 간극은 분명했다.

이 실험이 한국 실무자에게 주는 시사점은 두 갈래다. 첫째, 에이전트에게 서드파티 선택을 맡길 때 '추천만 받기'와 '바로 구현시키기'는 전혀 다른 결과를 낳는다. 승인 절차 없이 곧장 구현을 지시하면 자체 구현으로 기울 수 있으므로, 원하는 방향이 있다면 후보를 좁히거나 비용·규모 같은 제약을 프롬프트에 명시하는 편이 낫다. 둘째, 벤더 입장에서는 자사 서비스가 대화에 등장하는지보다 실제 구현으로 선택되는지가 관건이며, 에이전트의 기본 선택지에 편입되는 것이 곧 유통 경로가 된다는 뜻이다. 다만 이번 결과는 가상 회사와 합성 저장소를 기반으로 한 실험 환경의 산물이라는 한계가 있다. 실제 조직의 계약 관계, 기존 도입 이력, 사내 정책 같은 변수는 반영되지 않았고, 오케스트레이션과 분석 모두 특정 LLM에 의존한다는 점도 감안해 읽어야 한다. 연구진은 후속 실험을 예고하며 남은 질문을 받겠다고 밝혔다.