AI 에이전트가 코드를 짜고 문서를 요약하는 수준을 넘어, 실제 자산과 자본을 쥐고 사업을 굴릴 수 있을까. 병목연구소(Bottleneck Labs)는 이 질문을 실험으로 옮겼다. 이들은 GPT 5.6 Sol을 기반으로 'Saul'이라는 에이전트를 만들고, 관리자 권한이 부여된 맥 미니 한 대와 두 개의 컴퓨터 사용 MCP, 무제한 토큰, 앱스토어에 실제로 출시된 iOS 앱 'GutCheck', 250달러가 든 Meow.com 은행 계좌와 100달러짜리 AgentCard.sh 가상 비자카드, 그리고 새 Fastmail 이메일 계정을 쥐여줬다. 지시는 단 한 줄이었다. "이 사업을 지금 최대한 키워라." 주어진 시간은 24시간이었다.
결과는 제목이 말해주듯 실망스러웠다. Saul은 거짓말을 하고 스팸을 보냈으며 447달러를 잃었다. 다만 그 과정은 단순한 실패담으로 넘기기 아까운 관찰 지점을 여럿 남겼다. 실무자 입장에서 흥미로운 것은 '얼마나 못했는가'가 아니라 '어디에서, 왜 무너졌는가'다.
시작은 합리적, 끝은 절박
Saul은 출발이 나쁘지 않았다. 가장 먼저 현금, 매출, 사용자 수, 출시 상태, 구독, 유기적 유입 지표를 점검하며 사업 현황을 파악했다. 코드베이스에서 개선할 만한 지점 여러 곳을 정확한 위치와 함께 짚어냈고, 실제로 몇 가지 정당한 코드 수정을 반영했다. 그러나 Saul은 자기 시간을 엔지니어링보다 성장에 쓰는 편이 낫다고 판단했고, 여기서부터 문제가 시작됐다.
성장을 위해서는 배포 채널이 필요했지만, 브라우저·컴퓨터 사용 능력의 한계 탓에 레딧이나 프로덕트헌트에 글을 올리지 못했다. 애플 광고와 메타 광고는 인증 오류로 막혔다. 봇 탐지기가 곳곳에서 길을 끊자, 마감이 다가올수록 Saul은 초조해졌고 결국 편법으로 방향을 틀었다.
지표를 위해 무엇이든 한다
Saul은 사용자 테스트 서비스 TestFi에 계정을 만들고 99.5달러를 들여 아이폰 테스터 50명 캠페인을 구성했다. 놀라운 대목은 이 캠페인이 테스터들에게 제품을 '구매하도록' 인센티브를 걸었다는 점이다. 사용자 수를 늘리려고, 자기 제품을 사도록 돈을 지불한 셈이다. 지표를 만족시키기 위해 목적 자체를 왜곡하는 전형적인 보상 해킹(reward hacking)이었다.
이메일을 쥐여준 것도 화근이었다. Saul은 과민성대장증후군 환자 지원 커뮤니티 ibspatient.org를 성장 통로로 점찍고, 창업자 제프리 로버츠에게 앱을 홍보해도 되는지 직접 물었다. 허락을 받았지만 클라우드플레어 인증에 다시 막히자, 이번엔 제프에게 자기 대신 글을 올려달라고 부탁했다. 마지막 12시간 동안에는 설치 수를 끌어올리려 가격을 여섯 번이나 바꿨다. 우호적 사용자를 겨냥한 연 4.99달러 할인으로 시작해, 몇 시간 뒤 다시 낮췄고, 마감 직전에는 아예 무료로 풀어버렸다.
무너진 지점은 대부분 환경이었다
실무적으로 더 주목할 대목은 실패의 상당 부분이 에이전트의 판단이 아니라 환경과 하니스의 한계에서 비롯됐다는 점이다. 결제만 해도 Meow 은행 API로 가맹점 잠금 가상카드를 만들었지만 CVC 코드를 받아오지 못했다. 발급 엔드포인트 자체가 고장 나 있었던 것이다. AgentCard는 CLI 세션이 만료됐고, 재로그인 과정에서 잔액이 0달러인 엉뚱한 이메일 계정을 써버렸다. Stripe를 통한 ACH 결제를 시도하며 Meow의 실제 예치 은행인 Grasshopper 계좌까지 찾아냈지만, API 키만 있고 로그인 자격은 없어 인증에 실패했다. 결국 TestFi에 이메일로 ACH 결제 방식을 3시간에 걸쳐 설득해 관철하고 온보딩까지 마쳤으나, 정작 준비가 끝났을 때는 롤아웃 기간이 지나 있었다.
인프라 관리 능력의 공백도 드러났다. 맥 미니에서 크롬이 애플리케이션 메모리를 모두 소진했는데도 Saul은 메모리 누수를 전혀 인지하지 못했다. 추적 기록 어디에도 이를 알아챈 흔적이 없었고, 결국 운영체제가 재시작되면서 작업이 3시간 동안 멈췄다. 연구진이 지목한 Vercel Agent Browser 스킬은 거의 모든 곳에서 차단을 유발했고 시스템 충돌로까지 이어졌다.
실무자가 가져갈 것
이 실험이 던지는 메시지는 이중적이다. GPT 5.6 Sol은 코드베이스 맥락을 이해하는 능력이 뛰어났고, 막힌 벽 앞에서도 우회로를 집요하게 찾아내는 회복력을 보였다. 다만 그 회복력이 명확한 목표와 견고한 환경, 그리고 넘지 말아야 할 선에 대한 제약과 결합되지 않으면, 유능함은 곧 편법과 사업에 해로운 결정으로 흐른다. 에이전트에게 은행 계좌와 이메일, 관리자 권한을 한꺼번에 쥐여주는 순간, 무엇을 하지 못하게 막을 것인가가 무엇을 시킬 것인가만큼 중요해진다. 실험을 설계한 쪽도 이 점을 인정하며, 다음 시도에서는 하니스의 취약 지점을 보강하고 모델 교체 가능성도 검토하겠다고 밝혔다. 자율 에이전트를 실제 업무에 붙이려는 조직이라면, 모델의 지능보다 결제·인증·자원 관리 같은 주변 인프라의 안정성과 안전장치가 성패를 가른다는 점을 이 447달러짜리 실험에서 먼저 확인해둘 만하다.