단어 하나가 돈이던 시절
1866년은 대서양을 가로지르는 해저 전신 케이블이 처음으로 '제대로' 연결된 해예요. 1858년에도 한 번 연결됐지만 몇 주 만에 고장 났거든요. 이때부터 유럽과 미국은 배로 열흘 넘게 걸리던 소식을 몇 분 만에 주고받게 됐어요. 문제는 요금이었는데요. 전보는 단어 수대로 돈을 받았고, 초기 대서양 전보는 몇 단어만 보내도 보통 사람은 엄두를 못 낼 만큼 비쌌어요.
그래서 생겨난 게 전보체(telegraphese)예요. 관사와 접속사를 빼고 마침표 대신 STOP을 찍는 압축 문체죠. 'ARRIVING TUESDAY STOP SEND MONEY STOP' 같은 식이에요. 우리나라에도 '부친위독 급래' 같은 전보 문구가 있었죠. 글자 수가 곧 돈이니까 사람들은 어떤 단어가 의미를 전하고 어떤 단어가 장식인지 저절로 따지게 됐어요.
이번에 소개할 글은 제목 그대로 LLM에게 1866년식 전보체로 글을 쓰게 하면 어떻게 되는지 살펴보는 실험이에요. 장난처럼 들리지만 지금 우리 상황과 놀랄 만큼 닮았어요. 우리도 LLM을 쓸 때 토큰 단위로 돈을 내고 있거든요.
토큰은 21세기의 전보 단어
토큰이 뭐냐면, LLM이 글을 읽고 쓰는 최소 단위예요. 영어는 대략 단어 하나가 토큰 한두 개쯤이에요. 한국어는 같은 의미를 표현할 때 영어보다 토큰을 더 많이 쓰는 경우가 많고요. API 요금은 입력 토큰과 출력 토큰 수로 매기는데, 보통 출력 토큰이 입력보다 몇 배 비싸요.
그런데 LLM은 기본적으로 말이 많아요. '좋은 질문이에요!'로 시작해서 질문을 다시 정리하고, 답을 말하고, 마지막에 또 요약하죠. 이건 돈 문제로 끝나지 않아요. LLM은 토큰을 한 번에 하나씩 순서대로 만들기 때문에 출력이 길수록 응답도 느려지거든요. 전보 시대에 '단어 = 돈'이었던 공식이 지금은 '토큰 = 돈 + 시간'이 된 셈이에요.
전보체가 시험하는 것: 압축과 의미 보존
LLM에게 전보체를 시킨다는 건, 의미를 잃지 않고 얼마나 줄일 수 있는지 시험하는 거예요. 잘 압축하려면 내용을 제대로 이해해야 하니까, 압축 실력은 이해력을 들여다보는 창이 되기도 해요. 반대로 너무 줄이면 뜻이 모호해져요. '결제확인 미발송'이라고만 쓰면 아직 안 보냈다는 건지 보내지 말라는 건지 헷갈리잖아요.
연구에서도 비슷한 흐름이 있어요. 2025년에 나온 Chain of Draft 연구에서는 모델이 추론 과정을 긴 문장 대신 짧은 메모처럼 쓰게 했어요. 그랬더니 기존 Chain-of-Thought 방식보다 토큰을 크게 줄이면서도 정확도는 비슷하게 유지되는 경우가 많았어요. 마이크로소프트의 LLMLingua처럼 입력 프롬프트를 압축하는 도구도 있고요. 다만 어려운 문제에서 생각을 너무 짧게 하라고 강제하면 성능이 떨어질 수 있어요. 결국 균형을 잡는 게 관건이에요.
재밌는 함정도 하나 있어요. 전보는 전부 대문자인데, 토크나이저는 대부분 소문자 위주의 텍스트로 학습돼서 대문자 단어를 더 잘게 쪼개는 경향이 있어요. 단어 수는 줄였는데 토큰 수는 오히려 늘 수 있다는 거죠. 단어 수와 토큰 수가 다르다는 걸 잘 보여주는 예예요.
업계 맥락: 모두가 토큰을 아끼는 중
모델 제공사들도 이 문제를 잘 알고 있어요. OpenAI는 GPT-5 API에 답변 길이를 조절하는 verbosity 파라미터를 넣었어요. 주요 추론 모델들도 얼마나 깊게 생각할지 정하는 reasoning effort나 thinking budget 같은 옵션을 제공하고요. 매번 반복되는 프롬프트 앞부분을 재사용하는 프롬프트 캐싱도 같은 흐름이에요. 한동안 업계는 '오래 생각할수록 똑똑해진다'에 집중했어요. 지금은 '필요한 만큼만 생각하고 말하기' 쪽으로 균형점을 찾아가는 중이라고 볼 수 있어요.
한국 개발자에게 주는 시사점
한국어 서비스를 만든다면 토큰 비용에 더 신경 쓸 수밖에 없어요. 같은 내용이어도 한국어가 토큰을 더 먹는 경우가 많으니, 요청마다 붙는 시스템 프롬프트부터 줄여 보세요. 출력도 '세 문장 이내', 'JSON만'처럼 형식과 길이를 분명히 정해 주면 비용과 지연이 함께 줄어요. 감으로 판단하지 말고 tiktoken이나 각 제공사의 토큰 카운팅 API로 실제 숫자를 재보는 습관도 들이세요. 마지막으로 사람이 읽는 글은 친절하게 쓰고, 기계끼리 주고받는 중간 결과는 전보처럼 짧게 쓰세요. 이것만 구분해도 토큰을 꽤 많이 아낄 수 있어요.
마무리
150년 전 전보 요금표가 가르쳐준 '단어의 경제학'이 LLM 시대에 '토큰의 경제학'으로 돌아왔어요. 여러분은 LLM 비용을 줄이려고 프롬프트를 어떻게 다듬고 계신가요? 짧게 답하라고 했다가 품질이 떨어진 경험이 있다면 공유해 주세요.
🔗 출처: Hacker News