그래픽카드 사기 전에 꼭 드는 고민
로컬에서 LLM을 돌려보려고 장비를 알아보면 누구나 한 번쯤 이런 고민을 하거든요. '이 맥북으로 70B 모델을 돌리면 쓸 만할까?', 'RTX 4090이랑 맥 스튜디오 중에 뭐가 나을까?' 커뮤니티를 찾아보면 '초당 15토큰 나와요' 같은 후기는 많아요. 그런데 그 숫자가 실제로 어떤 느낌인지는 감이 잘 안 오죠.
Llmspeed는 딱 이 부분을 노린 도구예요. 이름 그대로, 어떤 하드웨어에서 어떤 모델이 얼마나 빨리 돌아가는지를 숫자가 아니라 눈에 보이는 속도로 보여주자는 거예요. 수백만 원짜리 장비를 사기 전에 '이 속도면 답답할까, 괜찮을까'를 미리 느껴볼 수 있다는 게 핵심이에요.
토큰 속도, 이게 뭐냐면
LLM은 문장을 한 번에 통째로 만들지 않아요. 토큰이라는 조각을 하나씩 이어 붙이면서 만들거든요. 토큰은 단어 조각 정도로 생각하면 돼요. 영어는 단어 하나가 1토큰 조금 넘는 정도인데, 한국어는 토크나이저(글을 토큰으로 자르는 도구)에 따라 같은 문장도 토큰이 더 많이 나오는 경우가 많아요. 그래서 tok/s(초당 토큰 수)가 바로 체감 속도가 돼요.
대략적인 감은 이래요.
- 5 tok/s 이하: 글자가 나오는 속도보다 눈이 더 빨라서, 계속 기다리는 느낌이 들어요.
- 10~20 tok/s: 보통 사람이 글 읽는 속도는 넉넉히 따라가요. 채팅용으로는 꽤 쾌적해요.
- 50 tok/s 이상: 읽는 속도를 한참 앞질러요. 코드 생성이나 에이전트처럼 출력이 긴 작업에서 진가가 나와요.
속도를 결정하는 진짜 범인: 메모리 대역폭
속도는 GPU 연산 성능(TFLOPS)이 결정한다고 생각하기 쉬운데요, 토큰을 하나씩 만드는 단계에서는 얘기가 달라요. 토큰 하나를 만들 때마다 모델 가중치 전체를 메모리에서 한 번씩 읽어와야 하거든요. 요리사(연산 장치)는 엄청 빠른데 창고(메모리)에서 재료를 나르는 통로가 좁아서 매번 기다리는 상황이라고 보면 돼요.
그래서 이런 거친 어림셈이 통해요.
최대 tok/s ≈ 메모리 대역폭(GB/s) ÷ 모델 크기(GB)
예를 들어 8B 모델을 4비트로 양자화(가중치를 더 적은 비트로 압축하는 것)하면 5GB 안팎이에요. 대역폭이 약 1TB/s인 RTX 4090이라면 이론상 초당 200토큰 근처가 상한이죠. 반대로 70B 모델 4비트(약 40GB)를 대역폭 400GB/s 정도인 맥에서 돌리면 이론상 10 tok/s 언저리예요. 실제로는 오버헤드 때문에 이보다 낮게 나와요.
여기서 놓치기 쉬운 게 두 가지 있어요.
첫째, 프롬프트 처리(prefill)는 따로 봐야 해요. 긴 문서를 넣으면 첫 글자가 나올 때까지 기다리는 시간(TTFT, Time To First Token)이 생기는데, 이건 대역폭보다 연산 성능의 영향을 더 받아요. 맥이 생성 속도는 괜찮은데 긴 프롬프트를 처리할 때 NVIDIA GPU보다 느린 경우가 많은 게 이 때문이에요.
둘째, MoE 모델은 계산법이 달라요. MoE(Mixture of Experts)는 전체 파라미터 중 일부 '전문가'만 골라 쓰는 구조예요. 그래서 속도는 실제로 쓰이는 파라미터(활성 파라미터) 크기에 가깝게 나오지만, 메모리는 전체 크기만큼 필요해요. 메모리만 넉넉하면 생각보다 빠르다는 게 MoE의 매력이에요.
비슷한 도구들과 뭐가 다를까
'이 모델이 내 GPU에 올라가나?'를 알려주는 VRAM 계산기 같은 사이트는 전부터 많았어요. llama.cpp의 llama-bench처럼 실제 장비에서 속도를 재는 벤치마크 도구도 있고요. 그런데 VRAM 계산기는 돌아가는지 아닌지만 알려주고, 벤치마크 도구는 장비가 이미 있어야 쓸 수 있죠. Llmspeed는 그 사이의 빈칸, 그러니까 사기 전에 체감 속도를 시뮬레이션해준다는 점이 달라요. 다만 어디까지나 추정치라서 양자화 방식, 추론 엔진(llama.cpp, MLX, vLLM 등), 컨텍스트 길이에 따라 실제 결과는 달라질 수 있어요.
한국 개발자에게 주는 시사점
요즘은 사내 보안 때문에 외부 API를 못 쓰고 로컬 모델을 검토하는 팀이 많잖아요. 장비 구매 품의를 올리기 전에 '이 사양이면 실제로 쓸 만한 속도예요'를 팀원이나 결재권자에게 직접 보여줄 수 있으면 설득이 훨씬 쉬워져요. 숫자 표보다 글자가 실제로 흘러나오는 화면 하나가 더 강력하거든요.
그리고 한국어는 영어보다 토큰 효율이 떨어지는 경우가 많아서, 같은 tok/s라도 체감 속도는 더 느릴 수 있어요. 영어 기준 후기만 믿지 말고 쓰려는 모델이 한국어를 어떻게 토큰으로 자르는지도 같이 확인해보세요. 위의 '대역폭 ÷ 모델 크기' 공식도 기억해두면 좋아요. 스펙표를 볼 때 VRAM 용량뿐 아니라 메모리 대역폭까지 챙겨 보게 되거든요.
마무리
한 줄 정리: 로컬 LLM 장비를 고를 때 중요한 건 모델이 올라가느냐가 아니라 쓸 만한 속도가 나오느냐이고, 그 속도는 대부분 메모리 대역폭이 정해요.
여러분은 로컬 LLM이 몇 tok/s부터 쓸 만하다고 느끼시나요? 지금 장비를 고른다면 메모리가 넉넉한 맥과 대역폭이 빠른 NVIDIA GPU 중 어느 쪽을 고르실지도 궁금해요.
🔗 출처: Hacker News