대규모 운영 환경에서 대형 언어 모델(LLM)을 어디에, 얼마나 쓸 것인가는 이제 기술 선택을 넘어 비용 설계의 문제가 됐다. 아마존과 AWS 내부에서 오래 쓰여 온 사례가 이를 잘 보여준다. 회사 전반에서 쏟아지는 티켓, 즉 고객 에스컬레이션, 용량 요청, 자동 알람, 보안 탐지 결과 같은 다양한 사안을 20개 범주 중 하나로 분류하는 작업에 Claude Sonnet 4.6이 투입돼 왔다. 지능과 비용의 균형이 맞는 '적당한' 선택이었고, 세계 최대 규모급 내부 티켓 시스템을 감당하며 제 역할을 했다. 그런데 최근 두 엔지니어가 이 모델을 Strands Decider라는 결정 모델로 교체하면서, 성능은 그대로 유지한 채 비용을 98% 줄였다. 연간 수백만 달러의 토큰 비용 절감이 예상된다는 설명이다.
텍스트를 생성하지 않는 '결정 모델'
핵심은 작업의 성격을 다시 본 데 있다. 기존 방식은 모든 티켓마다 긴 시스템 프롬프트를 실은 에이전트를 돌려 JSON을 생성하고, 고정된 라벨 집합을 놓고 추론하게 하는 구조였다. 반면 결정 모델은 텍스트를 생성하지 않는다. 상태(state)와 선택지가 딸린 질문을 입력받아, 각 선택지에 대한 확률과 신뢰도 점수를 돌려줄 뿐이다. 티켓 분류에서는 티켓 자체가 상태가 되고, 라벨 카탈로그가 선택지가 되므로 이 방식이 거의 그대로 들어맞았다. 담당 엔지니어 Carr와 Mehul은 처음에 Strands Decider 2B로 시작했다가, 테스트 세트에서 더 나은 결과를 낸 E4B(Gemma 4 기반) 빌드로 바꿨다고 밝혔다. 라벨을 적용하기 전 요구되는 신뢰도 기준을 조정한 뒤, 별도의 티켓 세트에서 E4B가 운영 중인 Sonnet을 앞섰다.
프롬프트를 줄여 토큰을 줄이다
비용 절감은 두 갈래에서 나왔다. 하나는 출력이 JSON 전체가 아니라 단일 선택값 하나라는 점, 다른 하나는 프롬프트 자체가 훨씬 짧아졌다는 점이다. 운영 환경의 라벨 설명문은 그 길이만으로도 Strands Decider의 4,096토큰 입력 창을 넘어섰기 때문에, 20개 라벨을 각각 한두 문장짜리 판별 기준으로 다시 써서 '해당 없음(none)' 선택지를 더한 단일 선택 질문으로 전달했다. 티켓 데이터 자체는 Sonnet이 받던 것과 동일하되, 긴 티켓의 경우 가장 오래된 댓글부터 잘라 창 크기에 맞췄다. Sonnet 사용을 끄던 날 Lambda 평균 실행 시간은 74% 떨어졌다.
운영 구조는 티켓 API를 제외하면 모두 표준 AWS 서비스로 짜였다. 티켓 이벤트가 SQS 큐에 들어가면 Lambda가 트리거되고, Lambda가 티켓을 읽어 Strands Decider가 올라간 SageMaker 엔드포인트를 호출한다. 전환 스위치는 AppConfig가 쥐고, 로그·지표·알람은 CloudWatch가 담당하며, 전체 스택은 Beta·Gamma·Prod 배포 단계를 둔 CDK로 정의된다. 모델은 A10G 한 장에 24GiB 메모리를 갖춘 ml.g5.xlarge 인스턴스에서 돌아가며 약 19GiB를 점유했고, 요청 한 건 처리에 약 640ms가 걸렸다. 엔드포인트는 트래픽에 따라 오토스케일하되 네트워크는 격리돼 컨테이너의 외부 접근이 차단됐고, 가중치는 기동 전 S3에서 복사해 온다.
숫자와 함정
비용 비교는 us-east-1 온디맨드 공시가 기준이다. Sonnet의 티켓당 비용은 토큰 수에서 바로 나오지만, 결정 모델 쪽은 인스턴스가 얼마나 바쁜지에 달려 있다. 요청당 640ms면 인스턴스 하나가 시간당 약 5,600건을 처리할 수 있어 완전 가동 시 100만 건당 약 250달러인데, 실제로는 급증에 대비한 여유를 두어 100만 건당 약 500달러 수준이 된다. 그래도 Sonnet보다 약 44배 저렴하며, 이것이 98% 절감의 근거다. 다만 이 숫자는 공시 정가이며, 이제 티켓당 실행 시간이 줄어든 Lambda 비용은 빠져 있다. 흥미로운 함정도 하나 발견됐다. 같은 내용을 JSON 키 순서만 바꿔 보냈더니 출력 확률이 최대 0.19까지 움직였다는 것이다. 지금은 모든 요청을 키를 정렬해 보내고 있으며, 결정 모델을 API 뒤에 두고 운영한다면 실행 결과를 비교하기 전에 이 점을 먼저 확인하라고 조언한다.
바꿀 수 있는 조건과 없는 조건
이 교체가 성립한 이유는 분명하다. 작업이 알려진 카탈로그 안에서의 닫힌 선택이었고, 물량이 많았으며, 기존 경로의 지연 시간이 문제가 됐기 때문이다. 바꿔 말해 라벨에 설명 텍스트가 필요하거나, 카탈로그가 매주 바뀌거나, 쓸 만한 맥락을 수천 토큰 안에 담을 수 없다면 결정 모델이 LLM을 대신하기 어렵다. 실무자 입장에서 모델 선택과 무관하게 참고할 만한 대목은 세 갈래 전환 스위치다. 라벨링 Lambda는 메시지마다 AppConfig에서 세 값짜리 설정을 읽어, 두 방식을 실제 트래픽에 동시에 태운 뒤 모든 불일치를 사람이 판정하게 했다. 이렇게 얻은 정보가 어떤 오프라인 평가보다 많은 것을 알려줬고, 되돌리는 일도 45초짜리 설정 변경으로 끝났다. 결국 이 사례의 교훈은 '더 똑똑한 모델'이 아니라, 문제의 형태를 정확히 보고 그에 맞는 최소한의 도구를 고르되 전환 위험을 운영으로 흡수하는 설계에 있다.