AI 업계는 경제학에서 '효율적 프론티어(efficient frontier)'라는 용어를 빌려왔다. 원래는 주어진 위험 수준에서 기대수익을 극대화하는 자산 조합의 경계를 뜻하지만, 모델 이야기를 할 때는 주로 비용과 성능(지능) 사이의 절충을 설명하는 데 쓰인다. 같은 비용이나 크기에서 가장 높은 지능을 제공하는 모델을 '프론티어 모델'이라 부르는 것도 같은 맥락이다. 그런데 이 개념은 모델 자체뿐 아니라 그 모델을 실제로 서빙하는 추론(inference) 엔지니어링에도 그대로 적용된다.
추론에서의 효율적 프론티어는 대개 지연시간(latency)과 처리량(throughput) 사이의 절충으로 표현된다. 처리량은 곧 토큰당 비용을 결정하므로, 이 둘의 균형이 서비스 경제성을 좌우한다. 여기에 더해 양자화·증류·프루닝을 통해 품질을 처리량과 맞바꾸거나, 추론 강도(reasoning level)를 조절해 지능을 속도와 맞바꾸는 축도 존재한다. 이 글이 전제로 삼는 상황은 GLM-5.3나 Kimi K3 같은 대형 LLM을 에이전트형 코딩 용도로, KV 캐시 재사용과 KV 인지 라우팅을 켠 채 운영하는 경우다.
프론티어 위에서 위치를 고르는 기술
추론 엔지니어가 쓸 수 있는 기법은 크게 두 부류로 나뉜다. 첫째는 두 요소를 맞바꿔 프론티어 '위의 한 지점'을 겨냥하는 기법이다. 사용자당 속도를 희생하면 배치 워크로드용의 고처리량·저비용 파이프라인을 만들 수 있고, 반대로 처리량을 포기하고 속도를 끌어올리면 지연에 민감하고 지불 의사가 높은 사용자를 만족시킬 수 있다. 가장 직관적인 사례가 배치 크기 조절이다. 토큰 단위 연속 배칭 덕분에 배치가 차기를 기다리는 대기시간은 없지만, 설정한 배치 크기 자체가 사용자당 지연과 전체 처리량을 가른다. 배치를 작게 잡으면 사용자 체감 속도는 뛰어나지만 GPU당 생성 토큰이 적어 토큰당 비용이 높아지고, 크게 잡으면 그 반대가 된다.
모델을 여러 GPU에 나누는 병렬화 방식도 위치를 조정하는 수단이다. 지연에 민감한 배포에서는 텐서 병렬(TP)을 늘리는 편이 유리한데, TP는 값비싼 전방위 통신을 요구하지만 고대역 NVLink 위에서는 그 연산이 빨라 지연을 낮추는 데 효과적이다. 전문가 병렬(EP)은 지연과 처리량 양쪽에 관여해, 낮은 EP는 대체로 지연에, 랙 전체를 아우르는 넓은 EP는 처리량에 유리하다. 어텐션 계층을 복제해 병렬 계산하는 어텐션 데이터 병렬(ADP)은 요청당 속도를 내주는 대신 시스템 처리량을 끌어올린다.
프론티어 자체를 바깥으로 미는 기술
둘째 부류는 프론티어 전체를 바깥으로 밀어내 새로 생긴 효율을 지연이든 처리량이든 가장 이로운 쪽에 배분하게 해준다. 가중치·활성값·KV 캐시의 정밀도를 낮추는 양자화가 대표적으로, 지연과 처리량을 동시에 개선한다. 다만 이번엔 품질과 서빙 효율 사이라는 또 다른 절충이 생긴다. 이 경계는 특히 들쭉날쭉해서, MXFP4·NVFP4 같은 마이크로스케일링 부동소수점 형식을 쓰면 품질 저하를 거의 감수하지 않고도 서빙 효율을 크게 끌어올릴 여지가 있다. 행렬 곱 같은 개별 연산을 담당하는 CUDA 커널의 성능을 다듬거나 순전파 전체의 종단 성능을 개선하는 작업도 여기에 속하며, 이런 이득은 스택 전반에서 복리처럼 누적된다. 하드웨어로 2배, 소프트웨어로 2배를 얻으면 전체 서빙 성능은 4배가 되는 식이다.
추측 디코딩(speculative decoding)은 모델이 낼 법한 토큰을 미리 추측하고 검증하는 방식이다. 초창기에는 추측 비용이 크고 수용률이 낮아 작은 배치에서만 쓸 만한, 지연과 처리량 사이의 절충이었다. 지금도 EAGLE-3·DSpark·DFlash 같은 기법은 본 모델 루프와 자원을 다퉈 최대 배치 크기를 어느 정도 제약하지만, 출력 토큰이 비교적 예측 가능한 코드 생성에서 특히 강한 성능을 보이며 건너뛴 순전파에서 오는 효율과 사용자당 초당 토큰 증가를 함께 안긴다. 프리필과 디코드를 전용 워커로 분리하는 P/D 분리(disaggregation)는 각 단계 특성에 맞춰 워커를 최적화하고, 유입 트래픽의 입력·출력 길이와 캐시 적중률에 맞춰 두 워커의 비율을 조정할 수 있게 한다.
실무자가 새길 지점
한국의 추론 운영 현장에서 이 프레임이 갖는 실무적 의미는 분명하다. 목표 성능을 맞추는 일은 대개 새로운 기법을 발굴하는 문제가 아니라, 트래픽의 성격에 맞는 설정 조합을 찾아내는 문제라는 것이다. 게다가 원문이 강조하듯 실제 프론티어는 매끈한 곡선이 아니라 몹시 들쭉날쭉하다. 작은 설정 변화가 큰 영향을 낳고, 그 변곡점은 직관에 어긋나는 경우가 많아 결국 스윕(sweep) 같은 경험적 탐색으로 발견해야 한다. 따라서 배치 크기·병렬화·양자화 형식을 어떤 조합으로 둘지는 벤치마크 없이 이론만으로 정하기 어렵다.
이 글은 개념적 지도를 제시할 뿐, 각 기법의 구체적 수치나 특정 워크로드에서의 손익분기점까지 답해 주지는 않는다는 한계도 함께 봐야 한다. 어떤 기법이 프론티어 위의 위치를 옮기는 것이고 어떤 기법이 프론티어 자체를 넓히는 것인지 구분하는 감각은, 한정된 GPU 예산을 지연과 비용 어느 쪽에 배분할지 결정할 때 판단의 뼈대가 되어준다. 결국 중요한 것은 화제를 모으는 성능 개선 기법과 단순한 절충 기법을 뭉뚱그리지 않고, 자신의 트래픽 위에서 실제로 측정해 최적점을 찾아가는 태도다.