AMD가 AI 추론 전용 칩 스타트업 Taalas를 인수했다. 목요일 장 마감 시점에 발표된 이번 거래에서 인수 조건은 공개되지 않았지만, 인력만 흡수하는 애퀴하이어가 아니라 실제 회사 인수로 파악된다. 규제 승인을 전제로 올해 4분기 중 마무리될 전망이다. AMD가 노리는 지점은 분명하다. 코드 어시스턴트 같은 AI 에이전트가 값을 매기는 고성능 '프리미엄' 추론 서비스를 더 빠르고 저렴하게 돌리는 것이다. 이는 지난해 12월 엔비디아가 Groq와 맺은 200억 달러 규모 라이선싱 거래와 비슷한 맥락에 놓인다.
가중치를 실리콘에 새긴다는 발상
2023년 설립된 토론토 기반 Taalas의 접근법은 기존 GPU와도, Groq의 LPU나 Cerebras의 웨이퍼스케일 가속기가 쓰는 데이터플로 아키텍처와도 근본적으로 다르다. 이 회사의 칩은 모델 가중치를 저장하기 위해 HBM에 의존하지 않고, 가중치를 실리콘에 직접 식각(etch)한다. 사실상 특정 모델에 특화된 집적회로, 즉 MSIC(model-specific integrated circuit)인 셈이다. 칩은 크게 두 영역으로 구성된다. 가중치가 새겨지는 마스크 ROM 리콜 패브릭, 그리고 KV 캐시와 파인튜닝 어댑터를 담는 SRAM 리콜 패브릭이다.
중요한 것은 이 기술이 개념 단계에 머물지 않았다는 점이다. Taalas는 지난 2월 TSMC 6nm 공정으로 만든 첫 테스트 칩 HC1을 공개했다. 초기 벤치마크에서 이 칩은 메타의 Llama 3.1 8B를 초당 16,960 토큰이라는 속도로 서비스했다. 발표 당시 기준으로 엔비디아 GPU보다 48배, Cerebras 가속기보다 8.5배 빠른 수치였다. Llama 3.1은 2024년 중반에 나와 지금 기준으론 낡은 모델이지만, 레티클 크기의 이 칩은 개념 증명이 목적이었다.
20B 칩 50장이면 조 단위 모델
올여름 출시 예정인 2세대 HC2 칩은 파라미터 수를 200억 개로 끌어올리는 것을 목표로 한다. 크지 않아 보일 수 있지만, 대형 모델을 다룰 때 GPU가 그렇듯 가중치는 파이프라인 병렬화로 여러 가속기에 분산된다. 칩당 200억 파라미터라면 1조 파라미터 모델을 지탱하는 데 가속기 50장이면 충분하다. AMD는 마침 이를 무리 없이 수용할 랙 스케일 컴퓨트 플랫폼과 자체 시스템 설계팀을 보유하고 있다. 동일 모델을 위해 GPU 수십 장에 최소 2,000개의 Groq LPU가 필요한 엔비디아 LPX 시스템보다 공간·전력 효율이 훨씬 낫다는 계산이다.
AMD는 인스팅트 기반 헬리오스 랙에 Taalas 기술 칩을 짝지을 것으로 파악된다. 연산 부담이 큰 프롬프트 처리는 GPU가, 토큰 생성은 Taalas 가속기가 맡는 분리형(disaggregated) 구조가 암시된다. 고객이 먼저 인스팅트에서 모델을 배포·검증한 뒤 만족하면 Taalas 가속기로 옮겨가는 '틱톡' 방식도 가능하다. AMD의 AI 담당 수석부사장 밤시 보파나는 성명에서 "AMD는 고객이 모든 AI 워크로드에 맞는 컴퓨트 솔루션을 유연하게 배포할 수 있는 풀스택 AI 플랫폼을 구축하고 있다"고만 밝혔다.
빠른 대신 갇히는 구조
속도가 폭발적인 만큼 대가도 만만치 않다. 칩을 한번 배포하면 그 모델에 묶인다. LoRA 어댑터 수준을 넘어서는 변경은 칩 리스핀(re-spin)을 요구하는데, 이는 비싸고 시간도 오래 걸린다. AI 붐이 시작된 지 4년 가까이, 새 모델은 거의 매달 쏟아진다. Taalas 기술의 이점을 누리려면 고객은 모델 선택에 확신이 있어야 하고, 그 확신의 난이도는 주체마다 다르다. 다만 회사 설명대로라면 상황이 들리는 만큼 나쁘진 않다. 새 모델도 처음부터 다시 만들 필요 없이 금속 배선 두 개 층만 바꾸면 되며, 이는 훨씬 저렴하고 빠르다.
이런 특성상 이 기술은 AI 모델 개발사와 그들의 인프라 사업자, 소수의 추론 제공업체가 주로 채택할 것으로 보인다. Taalas는 지난 2월 자매 매체 The Next Platform과의 인터뷰에서 모델 가중치를 실리콘에 새기는 비용이 프런티어 모델을 훈련하는 것보다 100배 저렴하다고 밝혔다. OpenAI, 앤스로픽, 메타는 모두 주요 인스팅트 고객이며, 모델 하우스와 칩 설계사의 긴밀한 관계를 감안하면 GPT나 Claude가 Taalas와 인스팅트 가속기를 조합해 배포되는 그림도 무리는 아니다.
이 기술은 모델 개발 방식에도 영향을 준다. 개발자들은 환각을 줄이기 위해 시간을 정확도와 맞바꾸는 방식, 즉 응답 전에 모델이 더 오래 '생각'하게 하는 테스트타임 스케일링을 써왔다. 문제는 토큰을 훨씬 많이 소모해 비싸고 응답도 느려진다는 점이다. Taalas 인수가 토큰당 비용을 낮추고 출력 속도를 10배, 20배 끌어올린다면, 모델 개발자들은 추론 시간을 더 길게 늘리는 선택을 할 수도 있다. Taalas가 AMD의 큰 그림에 어떻게 맞물리는지는 오래지 않아 드러날 것이다.