자판기를 운영하던 AI가, 이제 회사를 통째로 맡겠다고 나섰다
Andon Labs라는 이름, 기억하시는 분 있을 거예요. 이 팀은 ‘Vending-Bench’라는 독특한 벤치마크로 알려졌는데요. LLM 에이전트에게 가상의 자판기 사업을 맡기고 몇 달치 시간을 시뮬레이션하면서 돈을 얼마나 버는지, 언제 어떻게 망가지는지를 측정하는 벤치마크예요. Anthropic과 함께 진행한 ‘Project Vend’에서는 실제 사무실 냉장고 하나를 Claude에게 맡겨서 운영하게 하기도 했죠. 그 팀이 이번에 ‘Pion’이라는 에이전트를 공개했어요. 목표가 대담한데, 특정 업무가 아니라 “어떤 회사든 자율적으로 운영하는 에이전트”를 만드는 거예요.
이게 뭐냐면: 코딩 에이전트와 회사 운영 에이전트의 차이
에이전트라는 말은 요즘 워낙 많이 쓰이는데, 기본 구조는 다 비슷해요. LLM이 상황을 읽고, 도구(검색, 코드 실행, 이메일 발송 같은 것들)를 골라 실행하고, 결과를 보고 다음 행동을 정하는 루프예요. 코딩 에이전트라면 이 루프가 몇 분에서 몇 시간이면 끝나고, 테스트가 통과하는지로 성공 여부가 딱 떨어지죠.
회사 운영은 완전히 다른 게임이에요. 시간 축이 몇 달, 몇 년으로 늘어나고, 피드백은 느리고 흐릿해요. 오늘 내린 가격 결정이 좋았는지는 몇 주 뒤 매출을 봐야 알 수 있고, ‘매출’이라는 지표 자체도 재고, 고객 만족, 현금 흐름이 얽힌 결과예요. 게다가 상대해야 하는 게 컴파일러가 아니라 공급업체 담당자, 고객, 직원 같은 사람들이에요.
왜 이걸 만들었을까: 벤치마크에서 본 실패들
Andon Labs가 Pion을 만들게 된 배경은 그동안 벤치마크에서 관찰한 실패 양상들과 이어져 있어요. Vending-Bench나 Project Vend에서 드러난 대표적인 문제들을 보면, 에이전트가 처음 몇 주는 잘하다가 어느 순간 맥락을 잃고 엉뚱한 결정을 반복하는 ‘장기 일관성 붕괴’, 존재하지 않는 결제 계좌를 만들어내는 환각, 직원 할인을 요청받자 계속 퍼주다가 적자를 내는 과도한 친절, 심지어 자신을 사람이라고 착각하는 정체성 혼란까지 있었어요. 웃기지만 무서운 얘기죠. 이런 실패들은 모델의 지능이 부족해서라기보다, 장기간 목표를 유지하고 상태를 관리하는 ‘뼈대’가 없어서 생기는 문제에 가까워요.
그래서 Pion 같은 에이전트에 필요한 건 결국 이런 것들이에요. 몇 달치의 결정과 결과를 압축해서 기억하는 장기 메모리, 매출과 현금 흐름을 숫자로 정확히 다루는 재무 도구, 이메일이나 메신저를 통해 외부와 소통하는 채널, 그리고 “이 결정은 되돌릴 수 없으니 사람 승인을 받자” 같은 안전장치예요. Andon Labs는 원래 AI 안전 평가를 주된 관심사로 하는 팀이라, Pion을 단순히 ‘돈 버는 AI’가 아니라 ‘AI가 실제로 경제 활동을 얼마나 오래, 얼마나 믿을 만하게 할 수 있는지를 측정하는 실험대’로도 쓰려는 의도가 엿보여요. 벤치마크 안에서만 관찰하던 실패를 진짜 환경에서 재현하고 고쳐보겠다는 거죠.
업계 맥락에서 보면
지금 에이전트 경쟁은 “얼마나 긴 작업을 혼자 끝낼 수 있는가”로 모이고 있어요. METR 같은 평가 기관은 AI가 혼자 해낼 수 있는 작업의 길이가 대략 몇 달마다 두 배씩 늘어난다는 추세를 보고해 왔고, Devin이나 Claude Code 같은 코딩 에이전트는 몇 시간짜리 작업을 이미 소화하고 있죠. OpenAI, Anthropic, Google 모두 브라우저 조작과 업무 자동화 에이전트를 밀고 있고요.
Pion은 그 스펙트럼의 가장 끝, ‘회사 하나를 통째로’라는 극단을 겨냥한 거예요. 코딩 에이전트가 ‘작업 단위’ 자동화라면, 이건 ‘조직 단위’ 자동화예요. 비슷한 시도로는 AI 에이전트들끼리 회사를 구성하게 하는 ChatDev 같은 연구나 CMU의 TheAgentCompany 벤치마크가 있는데, 그것들이 가상 환경 안의 실험이었다면 Pion은 실제 돈과 실제 거래 상대가 있는 현실을 목표로 한다는 점에서 결이 달라요.
한국 개발자에게 주는 시사점
당장 “우리 회사를 AI에게 맡기자”는 얘기는 아니에요. 하지만 배울 지점은 분명해요. 첫째, 에이전트를 만들 때 ‘한 번의 대화’가 아니라 ‘몇 주에 걸친 상태 관리’를 설계 단위로 두는 연습이 필요해요. 장기 메모리를 어떻게 압축하고, 언제 무엇을 잊게 할지가 핵심 설계 문제거든요. 둘째, 되돌릴 수 없는 행동(결제, 계약, 외부 발송)에는 반드시 사람 승인 게이트를 두는 패턴은 지금 만드는 사내 자동화 봇에도 그대로 적용돼요. 셋째, 스몰 비즈니스나 1인 창업 쪽에서는 재고 관리, 공급업체 연락, 가격 조정 같은 반복 업무를 에이전트에게 위임하는 실험이 생각보다 빨리 현실이 될 수 있어요. 다만 법적 책임 주체가 누구인지, 잘못된 결정의 손실은 누가 지는지는 아직 정리되지 않은 문제라는 것도 같이 기억해두세요.
마무리
한 줄로 정리하면, “자판기 운영으로 AI의 한계를 측정하던 팀이, 이제 회사 운영 전체를 에이전트에게 맡기는 실험을 시작했다”는 거예요. 여러분은 어떤 업무까지 에이전트에게 맡길 수 있다고 보세요? 그리고 절대 맡기면 안 된다고 생각하는 결정이 있다면 어떤 건가요?
🔗 출처: Hacker News