왜 갑자기 '추론 하드웨어'가 화두가 됐을까요
지난 몇 년 동안 AI 반도체 이야기는 거의 다 '학습(training)'에 관한 거였어요. 거대한 모델을 만들려면 GPU 수만 장을 몇 달씩 돌려야 하니까, 엔비디아의 H100이나 B200 같은 학습용 칩을 얼마나 확보했느냐가 곧 AI 경쟁력이었죠. 그런데 2026년 들어 분위기가 확 바뀌었어요. IEEE Spectrum이 이 흐름을 '추론 하드웨어 혁명'이라고 부를 정도로, 이제 돈과 관심이 '추론(inference)' 쪽으로 쏠리고 있거든요.
추론이 뭐냐면, 이미 다 만들어진 모델에 질문을 넣고 답을 뽑아내는 과정이에요. 여러분이 ChatGPT나 Claude에 뭔가 물어볼 때마다 일어나는 일이죠. 학습은 한 번 하면 끝이지만, 추론은 사용자가 쓸 때마다 계속 일어나요. 그래서 서비스 규모가 커질수록 추론 비용이 학습 비용을 압도하게 돼요.
여기에 기름을 부은 게 '생각하는 모델(reasoning model)'이에요. o1, o3, DeepSeek-R1 같은 모델은 답을 내기 전에 속으로 긴 사고 과정을 거치는데, 이게 전부 토큰 생성이거든요. 예전엔 질문 하나에 토큰 몇백 개면 됐던 게 이제는 수만 개씩 필요해요. 거기에 코딩 에이전트처럼 몇 시간씩 자율적으로 도는 워크로드까지 더해지니까, 추론 토큰 수요가 폭발적으로 늘어난 거예요.
추론은 학습과 뭐가 다르길래 칩이 따로 필요할까요
학습용 칩은 '엄청난 연산량을 한꺼번에 처리'하는 데 최적화되어 있어요. 행렬 곱셈을 얼마나 빨리 하느냐, 즉 FLOPS가 중요하죠. 그런데 추론, 특히 토큰을 하나씩 뽑아내는 디코딩 단계는 사정이 달라요. 토큰 하나 만들 때마다 모델의 모든 가중치(수백 GB)를 메모리에서 읽어와야 하는데, 정작 계산량은 그렇게 많지 않거든요. 그래서 연산 유닛은 놀고 있고, 메모리에서 데이터를 나르는 통로만 꽉 막히는 상황이 벌어져요. 이걸 '메모리 대역폭 병목'이라고 불러요.
비유하자면, 요리사(연산 유닛)는 손이 엄청 빠른데 냉장고(메모리)에서 재료 꺼내오는 통로가 좁아서 요리사가 계속 기다리는 상황이에요. 학습은 한 번 꺼낸 재료로 요리를 왕창 하니까 괜찮지만, 추론은 재료 조금 꺼내서 요리 조금 하고, 또 꺼내오고를 반복하니까 통로 폭이 전부인 거죠.
그래서 추론 특화 칩들은 하나같이 '메모리를 어떻게 더 가깝게, 더 넓게 붙일까'를 고민해요.
- Groq의 LPU: 아예 HBM을 버리고 칩 안의 SRAM(가장 빠르지만 용량이 작은 메모리)에 모델을 올려요. 대신 칩 수백 장을 엮어서 용량을 확보하죠. 토큰 생성 속도가 GPU보다 몇 배 빠른 이유가 여기 있어요. 엔비디아가 2025년 말에 Groq의 기술 라이선스와 핵심 인력을 대규모로 확보한 것도, 이 방향이 맞다는 걸 인정한 셈이에요.
- Cerebras의 웨이퍼 스케일 엔진: 웨이퍼 한 장 전체를 칩 하나로 쓰는 괴물 같은 접근이에요. 칩 안에 SRAM이 워낙 많아서 모델을 통째로 올리고 초당 수천 토큰을 뽑아내요.
- 엔비디아 Rubin CPX: 재미있는 건 엔비디아도 GPU를 쪼개기 시작했다는 거예요. 긴 프롬프트를 읽는 '프리필(prefill)' 단계는 연산이 많고, 토큰을 뽑는 '디코드' 단계는 메모리가 중요하니까, 프리필 전용으로 값비싼 HBM 대신 GDDR7을 쓴 칩을 따로 만들었어요. 이렇게 단계별로 다른 하드웨어를 쓰는 걸 '분리형 추론(disaggregated inference)'이라고 해요.
- 빅테크 자체 칩: 구글 TPU Ironwood는 아예 '추론 시대를 위한 TPU'라고 이름 붙였고, AWS의 Trainium과 Inferentia, 메타의 MTIA, 마이크로소프트의 Maia, 그리고 OpenAI가 브로드컴과 함께 만드는 자체 칩까지, 이제 큰 회사는 다 자기 추론 칩을 갖고 있거나 만들고 있어요.
- 퀄컴, AMD, 스타트업의 공세: 퀄컴이 AI200과 AI250으로 데이터센터 추론 시장에 뛰어들었고, AMD는 MI450 시리즈로 OpenAI 같은 대형 고객을 잡았어요. Etched, d-Matrix, MatX 같은 스타트업은 트랜스포머만 돌리는 전용 ASIC이나 메모리 안에서 직접 계산하는 방식으로 승부하고 있고요.
판이 이렇게 바뀌는 이유
학습은 '한 번에 크게' 하는 일이라 엔비디아 CUDA 생태계에 묶일 수밖에 없었어요. 새 칩을 써보려면 학습 코드부터 다 바꿔야 하니까요. 그런데 추론은 다릅니다. 모델은 이미 완성돼 있고, vLLM, SGLang, TensorRT-LLM 같은 서빙 프레임워크가 하드웨어를 추상화해줘요. 즉, 칩을 바꿔도 위쪽 코드는 거의 그대로거든요. 이게 엔비디아 독점이 추론 쪽에서 먼저 흔들리고 있는 이유예요.
또 하나, 추론은 '토큰당 비용'이라는 아주 명확한 지표로 승부가 나요. 학습은 '얼마나 좋은 모델이 나오느냐'라는 불확실한 결과에 돈을 쓰지만, 추론은 '100만 토큰에 몇 달러냐'로 바로 비교되니까, 가격 대비 성능이 좋은 칩이면 누구든 쓸 이유가 생겨요.
메모리 쪽도 같이 움직여요. HBM4가 2026년에 본격 양산되면서 SK하이닉스와 삼성전자가 이 판의 핵심 플레이어가 됐고, 추론 칩이 다양해질수록 HBM만이 아니라 SRAM, GDDR, LPDDR까지 '어떤 메모리를 어떻게 붙이느냐'의 선택지가 넓어지고 있어요.
한국 개발자한테는 뭐가 달라질까요
당장 여러분이 칩을 사는 건 아니겠지만, 세 가지는 챙겨두면 좋아요.
첫째, 모델 서빙 비용 구조를 이해하는 게 실무 경쟁력이 돼요. 같은 모델도 어떤 하드웨어, 어떤 서빙 프레임워크로 돌리느냐에 따라 토큰당 비용이 몇 배씩 차이 나거든요. 프리필과 디코드를 분리하는 아키텍처, KV 캐시 관리, 배치 크기 같은 개념은 이제 백엔드 개발자도 알아야 하는 상식이 되고 있어요.
둘째, API 선택지가 넓어져요. Groq이나 Cerebras 같은 곳은 이미 오픈소스 모델을 초고속으로 서빙하는 API를 제공하고 있어서, 응답 속도가 중요한 서비스라면 GPU 기반 API보다 훨씬 나은 사용자 경험을 낼 수 있어요. 여러분 서비스에서 '체감 속도'가 중요하다면 지금 한번 벤치마크해볼 만해요.
셋째, 한국 반도체 산업과 직결돼요. HBM은 물론이고, 리벨리온이나 퓨리오사AI 같은 국내 추론 칩 스타트업이 노리는 시장이 바로 여기예요. 추론 시장이 학습 시장보다 훨씬 파편화되고 커진다는 건, 국내 업체에게도 기회가 열린다는 뜻이거든요.
정리하면
AI 비용의 무게중심이 '모델을 만드는 것'에서 '모델을 돌리는 것'으로 옮겨갔고, 그 결과 GPU 하나로 다 하던 시대가 끝나고 용도별로 쪼개진 추론 전용 칩의 시대가 열리고 있어요.
여러분은 어떻게 생각하세요? 추론 칩 시장이 이렇게 다양해지면 엔비디아의 독점이 정말 깨질까요, 아니면 CUDA 생태계의 힘으로 결국 다시 정리될까요? 그리고 여러분 서비스에서 GPU가 아닌 추론 칩 기반 API를 써본 경험이 있다면 어땠는지도 궁금해요.
🔗 출처: Hacker News