클라우드와 추론(inference) 제공업체가 스타트업에 뿌린 무료 크레딧과 사용량 약정이 이제 별도의 거래 상품이 되고 있다. 벡토럴(Vectoral) 블로그에 실린 매트 렌하드(Matt Lenhard)의 글은 스타트업이 쓰지 않은 크레딧을 헐값에 사들여 되파는 '토큰 브로커'들의 세계를 직접 취재한 기록이다. 앞서 그가 다룬 '토큰 릴레이 시장' 이야기의 후속편으로, 이번에는 장외에서 추론 용량이 손바뀜하는 마켓플레이스와 라우터, 그리고 폐쇄형 커뮤니티의 게시판을 들여다봤다.
시작은 지인의 제보였다. 한 친구가 앤트로픽(Anthropic) 토큰을 큰 폭으로 할인해 주겠다는 제안을 반복적으로 받고 있었고, 이는 한 사람만의 일이 아니었다. 저자가 만난 여러 창업자들도 장외 추론 용량을 사거나 팔겠다는 메일을 다수 받고 있다고 입을 모았다. 스타트업끼리 크레딧을 맞바꾸는 관행 자체는 새롭지 않다. 여러 스타트업 포럼과 그룹에서 오래전부터 있던 일이다. 달라진 지점은 이 교환이 이제 하나의 상거래로 '상업화'되기 시작했다는 것이다.
프록시로 우회하는 공급망
저자는 브로커들의 이메일을 수소문해 직접 접촉했다. 처음 두 통은 반송됐지만 세 번째에서 대화가 이어졌고, 여기서 드러난 건 공급 규모였다. 한 판매자는 하루 10만 달러어치의 사용량을 제안했다. 눈여겨볼 대목은 이들이 제공업체의 API 키를 직접 넘기지 않는다는 점이다. 대신 여러 키를 모아둔 풀에서 하나를 골라 요청을 대신 전달하는 프록시 방식으로 동작하는 것으로 보인다. 구매자는 키의 출처를 알 수 없고, 판매자는 키 자체를 노출하지 않으면서 용량만 흘려보내는 구조다.
웹 위에서 이를 대놓고 중개하는 사이트도 여럿이다. 'AI Credits'는 스스로를 크레딧 마켓플레이스로 소개하고, 'AICreditMart'는 순수 재판매 전용 마켓플레이스에 가깝다. 이들은 주요 클라우드·추론 제공업체 대부분의 크레딧을 취급한다. 저자에 따르면 AI Credits의 온보딩은 간단해서, 판매자가 원하는 전달 방식까지 선택할 수 있었고, 실제로 자신의 크레딧을 등록해 승인 대기 상태에 올려봤다고 한다.
'대량 할인'이라는 설명의 허점
또 다른 축은 '벌크 프라이싱(bulk pricing)'을 내세우는 라우터형 서비스다. 'CheapCredits'는 대량 구매로 할인을 확보한다고 주장하며, Tokvana와 Neokens 같은 사이트도 비슷한 논리를 편다. 그러나 업계 경험이 있는 저자는 이 설명에 의문을 표한다. 제공업체의 최상위 고객이 아니고서야 40%에 달하는 할인은 정상적인 대량 계약만으로는 나오기 어렵다는 것이다. 그의 추정은 CheapCredits가 공급 물량을 다른 경로로 확보하고 있으리라는 쪽이다. 흥미롭게도 이 사이트는 GDPR 준수를 원하는 사용자를 위한 데이터 처리 계약서(DPA)까지 갖추고 있어, 회색지대의 거래가 겉으로는 제도의 언어를 빌려 포장되는 모습을 보여준다.
더 음성적인 채널도 예상 가능한 곳에 있었다. 텔레그램에는 몇 개의 채널이 있었고 그중 하나는 비교적 활발했다. 폐쇄형 스타트업 그룹에 몸담아 본 사람이라면 익숙할 법한 게시물들도 어렵지 않게 눈에 띈다. 저자는 자신이 둘러본 사이트와 포럼, 재판매업자를 통틀어 대략 수천만 달러 규모의 크레딧이 시장에 나와 있는 것으로 어림잡았다.
한국 실무자에게 남는 것
이 글의 취재는 미국·유럽 생태계를 배경으로 하지만, 시사점은 국내 AI 서비스 운영 현장에도 그대로 닿는다. 저자의 진단처럼 토큰은 사실상 유사 화폐가 됐고, 시장에 유동성이 생긴 만큼 남용의 여지도 함께 커졌다. 크레딧을 넉넉히 받은 스타트업이 이를 현금화하려는 유인과, 정가보다 싸게 추론을 쓰려는 수요가 맞물리면서 장외 거래가 굴러간다. 다만 프록시를 거친 저가 추론은 요청 경로와 키 출처가 불투명해, 데이터가 어디를 지나는지 통제하기 어렵고 서비스 약관 위반에 따라 계정이 갑자기 끊길 위험을 안는다. 저자 역시 시장이 꺾이고 기업들이 비용에 민감해질수록 이런 남용에 대한 단속이 뒤따를 가능성이 높다고 내다본다.
결국 '싸게 파는 추론'이라는 제안을 받았을 때 확인해야 할 것은 할인율이 아니라 그 물량이 어떻게 만들어졌는가다. 정상적인 대량 계약으로 설명되지 않는 할인은 공급 경로 자체에 리스크를 품고 있을 공산이 크다. 취재 범위가 저자 개인의 아웃리치와 사이트 열람에 한정돼 있어 각 업체의 실제 규모나 합법성을 단정할 수는 없지만, 무료 크레딧과 약정 사용량이 하나의 장외 상품으로 유통되기 시작했다는 흐름만큼은 분명히 짚어둘 만하다.