‘토큰당 단가’로 LLM 고르면 손해 볼 수 있어요
요즘 LLM(대형 언어 모델) API 골라 쓸 때 다들 가격표부터 보잖아요. ‘얘는 100만 토큰당 3달러, 쟤는 1달러니까 쟤가 3배 싸네!’ 하고요. 그런데 이 계산법이 사실 우리를 꽤 자주 속인다는 얘기를 해볼게요.
먼저 토큰이 뭔지부터. 토큰이란 건 모델이 글을 잘게 쪼갠 조각이에요. 사람은 문장을 단어로 읽지만, 모델은 ‘안녕하세요’를 ‘안’, ‘녕’, ‘하세요’ 같은 조각들로 나눠서 처리하거든요. API 요금은 이 조각(토큰) 개수로 매겨져요.
함정 1: 같은 문장이라도 토큰 개수가 다르다
여기서 첫 번째 함정이 나와요. 모델마다 글을 쪼개는 방식(토크나이저)이 달라요. 똑같은 한국어 문단을 넣어도 A 모델은 100토큰으로 세고, B 모델은 130토큰으로 셀 수 있어요. 특히 한국어나 코드처럼 영어가 아닌 텍스트에서 이 차이가 크게 벌어져요.
그러니까 ‘토큰당 단가’가 30% 싸 보여도, 그 모델이 같은 내용을 30% 더 많은 토큰으로 센다면? 실제 지불 금액은 똑같아지는 거예요. 단가만 보고 골랐다가 손해 보는 거죠.
함정 2: 문제 하나 푸는 데 쓰는 토큰 양이 다르다
두 번째는 더 커요. 요즘 나오는 추론(reasoning) 모델들은 답을 내기 전에 혼자 ‘음, 이건 이렇고 저건 저러니까…’ 하고 길게 생각하는 과정을 거치거든요. 이 생각 과정도 전부 토큰으로 계산돼요.
그러니까 토큰 단가가 절반인 모델이라도, 문제 하나 푸는 데 생각을 3배 더 길게 한다면 실제로는 더 비싸질 수 있어요. 반대로 단가는 비싸도 똑똑해서 짧게 생각하고 정답을 맞히는 모델이 총비용은 더 쌀 수도 있고요.
그럼 뭘 봐야 하나
진짜 기준은 ‘작업 하나를 완료하는 데 드는 총비용(cost per task)’이에요. 토큰당 얼마가 아니라, ‘이 이메일 분류 한 건 처리하는 데 얼마’, ‘이 코드 리뷰 한 번 돌리는 데 얼마’로 따져야 한다는 거죠.
여기엔 정확도도 들어가야 해요. 싼 모델이 답을 자꾸 틀려서 두세 번 다시 돌려야 한다면, 그건 결국 몇 배로 비싼 거니까요. 프롬프트 캐싱(같은 앞부분을 재사용할 때 할인해주는 기능)이나 출력 길이 제어 같은 요소도 실제 비용을 크게 흔들어요.
업계 맥락
이건 사실 클라우드 요금제의 역사가 반복되는 거예요. 예전에 서버 시간당 요금만 보다가 실제 청구서 보고 놀랐던 것처럼요. 벤치마크 점수 1등 모델이 항상 답은 아니에요. 벤더들이 발표하는 ‘토큰당 최저가’는 마케팅 숫자에 가깝고, 실제 워크로드에서의 총소유비용(TCO)은 직접 돌려봐야 나와요.
한국 개발자에게
지금 서비스에 LLM 붙이는 분들, 꼭 자기 실제 데이터로 A/B 비교해보세요. 대표적인 요청 100건을 뽑아 후보 모델 두세 개에 똑같이 넣고, ‘정답률 × 실제 청구 금액 × 응답 속도’를 표로 만들어보는 거예요. 특히 한국어 토크나이징 효율은 모델마다 편차가 커서, 영어 기준 벤치마크만 믿으면 안 돼요.
한 줄로 정리하면, ‘토큰당 단가’가 아니라 ‘일 하나 끝내는 데 드는 총비용’으로 비교하세요. 여러분은 LLM API 고를 때 어떤 기준으로 정하시나요? 실제로 단가랑 실비용이 다르게 나온 경험 있으세요?
🔗 출처: Hacker News