구글이 8세대 TPU 제품군에 두 종류의 시스템을 추가로 내놓았다. 하나는 기밀 추론에 특화된 'TPU 8tx', 다른 하나는 초대형 컨텍스트 윈도와 랙당 최고 연산 밀도를 노린 'TPU 8i Max'다. 구글은 지난 4월 클라우드 넥스트에서 대규모 학습용 '8t'와 실시간 추론용 '8i'를 먼저 공개했는데, 이번 추가로 같은 세대 안에서 한 해에 네 개의 TPU 시스템을 선보이게 됐다. 동일 세대에서 1년 내 네 개 시스템을 낸 것은 이번이 처음이라는 설명이다.
여기서 눈여겨볼 지점은 '새 칩'과 '새 시스템'을 구분하는 구글의 접근이다. 칩 설계는 수십억 개의 트랜지스터를 웨이퍼에 배치하는, 물리 법칙과 긴 제조 주기에 묶인 다년 작업이다. 반면 시스템은 그 칩 주변의 연산·네트워킹·스토리지를 어떻게 묶어 패키징하느냐의 문제다. 구글은 TPU를 'AI 하이퍼컴퓨터'의 모듈형 구성 요소로 설계해 메모리, 광 네트워킹, 보안 계층을 비교적 빠르게 재조합할 수 있게 했고, 그 덕에 특화된 슈퍼컴퓨터를 수년이 아닌 수개월 단위로 내놓을 수 있다고 말한다. 이번에 공개된 8tx와 8i Max가 모두 기존 8t·8i 칩을 바탕으로 한 '시스템' 변형인 이유도 여기에 있다.
하드웨어 수준의 기밀 컴퓨팅, 8tx
TPU 8tx는 규제 산업과 정부처럼 민감한 데이터 곁에서 독점 모델이나 자율 에이전트를 돌려야 하는 조직을 겨냥한다. 통상 데이터는 저장·전송 시에는 암호화되지만 연산을 위해 메모리에 올라오는 순간 복호화된다. 8tx는 이 '사용 중(in-use)' 구간까지 보호 범위를 넓혀, 민감 데이터와 모델 가중치를 연산 도중에도 격리된 상태로 유지하도록 보안을 하드웨어 계층에 내장했다. 8t와 동일한 실리콘에 5세대 AMD 에픽(EPYC) CPU 호스트를 결합했고, 실시간 추론용으로 만든 저지연 보드플라이(Boardfly) 네트워크를 채택해 8t 대비 최대 2배 낮은 지연을 거의 성능 저하 없이 제공한다고 밝혔다.
실무적으로 더 의미 있는 부분은 학습급 연산과 빠른 추론 네트워크를 한 시스템에 묶었다는 점이다. 이를 통해 조직은 민감 데이터를 별도 클러스터로 옮기지 않고도 사내 데이터로 모델을 파인튜닝하고, 큰 모델을 작은 모델로 증류하며, 강화학습으로 에이전트를 훈련하는 작업을 한 곳에서 처리할 수 있다. 데이터 이동 자체가 규제 리스크인 금융·공공 영역에서는 이 '한 시스템 내 완결성'이 도입 판단의 핵심 변수가 될 수 있다.
메모리 장벽을 겨냥한 8i Max
TPU 8i Max가 푸는 문제는 성격이 다르다. 수십 개의 에이전트가 소프트웨어 코드베이스 전체나 수 시간 분량의 영상을 한꺼번에 다룰 때 병목은 연산보다 메모리 대역폭에서 먼저 발생한다. 구글은 저지연 8i 칩 두 개를 하나의 패키지에 결합해, 8i 대비 연산·SRAM·HBM 대역폭을 각각 두 배로 끌어올렸다. 연산과 메모리를 함께 2배로 키운 덕에 대규모 작업이 데이터를 기다리며 멈추는 상황을 줄인다는 것이다. 또한 기존 랙 공간 안에 두 배의 실리콘을 담아, 면적당·와트당 연산력을 크게 높일 수 있다고 설명한다.
이로써 8세대 TPU는 네 갈래로 역할이 나뉜다. 스케일업 학습의 8t, 저지연 추론의 8i, 기밀 컴퓨팅의 8tx, 그리고 초장문 맥락과 최고 밀도의 8i Max다. 각 시스템이 에이전트 워크로드의 서로 다른 단계를 겨냥하도록 세분화한 셈이다. 구글은 TPU 고객이 프런티어 연구소, 트레이딩 회사, 소매업체, 대학 등 100곳 가까이로 늘었고, 최근에는 고객이 자사 데이터센터에 TPU를 직접 배치하는 형태까지 생겼다고 밝혔다.
접근성과 한계
구글은 하드웨어 다변화와 함께 소프트웨어 장벽 낮추기도 강조한다. 최근의 파이토치(PyTorch) 지원 발표가 대표적으로, 과거 전용 프레임워크와 수작업 튜닝이 필요하던 TPU를 범용 하드웨어만큼 쓰기 쉽게 만들겠다는 방향이다. 흥미로운 대목은 구글이 차세대 TPU 개발 자체에 AI를 투입하고 있다는 점이다. 딥마인드의 알파칩(AlphaChip) 강화학습과 제미나이(Gemini)를 활용해 칩 레이아웃 설계를 수 주에서 수 시간으로 단축했다고 한다.
다만 이번 발표는 구글 자체 기준의 성능·지연 수치가 중심이며, 8tx·8i Max의 절대 성능이나 가격, 일반 가용 시점 같은 구체적 조건은 공개되지 않았다. 또한 TPU 생태계는 구글 클라우드와 긴밀히 묶여 있어, 멀티클라우드나 온프레미스 혼합 환경을 운영하는 조직이라면 종속성과 전환 비용을 함께 따져야 한다. 보안이 핵심인 조직에는 '사용 중 암호화'가 분명한 매력이지만, 그 실효는 실제 규제 요건과의 적합성 검증을 거쳐야 판단할 수 있는 영역이다.