
무슨 일이 있었나요
Modelplane 문서 사이트에 'An Open Field Guide to Inference Engineering'이라는 가이드가 공개됐어요. 우리말로는 '추론 엔지니어링 오픈 현장 가이드'쯤 되는데요. 필드 가이드는 원래 숲에서 새나 식물을 알아볼 때 들고 다니는 도감을 뜻해요. 이름부터 '이론서가 아니라 현장에서 펼쳐보는 실전 안내서'를 지향한다는 게 느껴지죠. 이 글에서는 가이드를 장별로 옮기기보다, 이 분야가 낯선 분들이 원문을 읽기 전에 알아두면 좋을 배경을 풀어볼게요. 실제 목차와 세부 내용은 원문에서 직접 확인해 보세요.
추론 엔지니어링이 뭐냐면
AI 모델의 일생은 크게 두 단계예요. 데이터를 먹여 모델을 똑똑하게 만드는 학습(training), 그리고 다 만든 모델에 질문을 넣고 답을 받는 추론(inference)이에요. 요리로 치면 학습은 레시피 개발이고, 추론은 그 레시피로 매일 손님에게 음식을 내는 장사예요. 레시피 개발은 가끔 하지만 장사는 매일 하잖아요. 그래서 서비스가 커질수록 비용과 고민은 추론 쪽에 쌓여요. 추론 엔지니어링은 그 장사를 잘하는 기술이에요. 같은 GPU로 더 많은 요청을 받고, 사용자를 덜 기다리게 하고, 트래픽이 몰려도 서비스가 버티게 만드는 일이죠.
원문 읽기 전에 알아둘 핵심 개념
먼저 지표예요. LLM 서비스에서는 첫 글자가 나올 때까지 걸리는 시간인 TTFT(Time To First Token)와 초당 몇 토큰을 내보내는지를 따로 봐요. 챗봇은 첫 글자가 빨리 떠야 답답하지 않고, 대량 문서 요약 같은 작업은 전체 처리량이 중요하거든요. 평균만 보지 않고 p95, p99처럼 '가장 오래 기다린 사람들'의 시간도 같이 봐요.
다음은 배칭(batching)이에요. 엘리베이터가 한 명 탈 때마다 출발하면 비효율적이니까 몇 명 모아서 가잖아요. GPU도 요청을 묶어 처리하면 효율이 확 올라가요. 요즘 LLM 서빙 엔진은 '연속 배칭'을 쓰는데, 이건 회전초밥 레일에 가까워요. 먼저 끝난 요청이 빠진 자리에 새 요청을 바로 끼워 넣는 방식이에요.
KV 캐시도 빼놓을 수 없어요. LLM은 글자를 하나씩 이어 쓰는데, 매번 앞 내용을 처음부터 다시 계산하면 너무 느리겠죠. 그래서 앞부분을 계산한 중간 결과를 메모해 두고 재사용해요. 같은 시스템 프롬프트가 반복되는 서비스라면 이 메모를 요청끼리 나눠 쓰는 '프리픽스 캐싱'으로 비용을 더 줄일 수 있어요.
양자화(quantization)는 모델 속 숫자를 더 작은 자료형으로 바꿔 담는 기법이에요. 고화질 원본 사진을 용량 작은 JPEG로 바꾸는 것과 비슷해요. 품질이 조금 떨어지는 대신 메모리를 덜 쓰고 빨라져요. 어디까지 줄여도 괜찮은지는 작업마다 달라서 반드시 직접 평가해 봐야 해요.
마지막은 운영이에요. 모델 파일은 수십 GB에 이르기도 해서 서버를 새로 띄우면 준비하는 데만 한참 걸려요. 이걸 콜드 스타트라고 해요. 그래서 트래픽에 맞춰 서버를 늘렸다 줄이는 오토스케일링이 일반 웹 서버보다 훨씬 까다로워요. GPU는 비싸서 놀리면 돈이 새고, 모자라면 사용자가 줄을 서게 되거든요.
업계 맥락: 왜 지금 이런 가이드일까요
몇 년 전만 해도 추론 최적화는 빅테크 내부 팀의 노하우였어요. 그런데 오픈 모델이 쏟아지고 vLLM, llama.cpp, Hugging Face TGI, SGLang, NVIDIA Triton 같은 서빙 도구가 공개되면서 작은 팀도 모델을 직접 돌릴 수 있게 됐어요. 도구는 많아졌는데 '우리 상황엔 뭘 어떻게 조합해야 하지?'에 답해 주는 지도는 부족했죠. 지식이 논문, 블로그, GitHub 이슈, 발표 영상에 조각조각 흩어져 있었거든요.
데브옵스나 SRE가 하나의 직군으로 자리 잡을 때도 비슷했어요. 현장의 요령이 책과 가이드로 정리되면서 분야가 생겼죠. '추론 엔지니어링'이라는 이름을 건 공개 가이드가 나온다는 건, 이 일이 ML 엔지니어의 곁다리 업무에서 독립된 전문 영역으로 굳어지고 있다는 신호예요. 다만 특정 서비스의 문서 사이트에 올라온 자료인 만큼, 그쪽 제품에 유리한 관점이 섞였을 수 있다는 점은 감안하고 읽으면 좋아요.
한국 개발자에게 주는 시사점
국내 사정도 같아요. 개인정보나 보안 규정 때문에 외부 API 대신 사내 GPU에 오픈 모델을 올려 쓰는 금융·공공·제조 프로젝트가 늘고 있고, 한국어 특화 모델을 직접 서빙하는 팀도 많아졌어요. 이때 '모델은 돌아가는데 너무 느리고 비싸다'는 벽에 꼭 부딪혀요.
백엔드 개발자라면 특히 눈여겨보세요. 큐, 캐시, 로드 밸런싱, 오토스케일링, 지연 시간 분포처럼 익숙한 개념이 그대로 쓰이거든요. 수학을 깊이 몰라도 시스템 감각으로 기여할 수 있는 AI 분야예요. 실습도 어렵지 않아요. 노트북에서 llama.cpp나 Ollama로 작은 모델을 띄워보고, GPU가 있다면 vLLM으로 동시 요청 수를 바꿔가며 TTFT와 처리량이 어떻게 변하는지 그래프로 그려보세요.
API만 호출해서 쓰는 분에게도 쓸모가 있어요. 프롬프트 캐싱 요금이 왜 싼지, 배치 API가 왜 느린 대신 저렴한지, 스트리밍이 왜 체감 속도를 올려주는지가 전부 여기서 나오는 원리거든요.
마무리
한 줄로 정리하면, 모델을 만드는 것만큼 '싸고 빠르고 안정적으로 돌리는 것'이 전문 기술이 됐고, 그 지식이 공개 가이드로 정리되기 시작했다는 거예요. 여러분 팀은 모델을 직접 서빙하고 계신가요, 아니면 API를 쓰고 계신가요? 직접 돌려봤다면 가장 애먹었던 지점이 어디였는지 들려주세요.
🔗 출처: Hacker News