자율주행차의 성능을 이야기할 때 카메라와 라이다 같은 센서가 주로 주목받지만, 실제로 주행의 성패를 가르는 것은 그 센서 데이터를 실시간 주행 명령으로 바꾸는 컴퓨팅 시스템이다. 웨이모는 최근 자사 블로그를 통해 그동안 좀처럼 공개하지 않았던 차량 내 컴퓨팅 아키텍처와 자체 개발 반도체를 처음으로 소개했다. 회사는 이 시스템을 '웨이모 드라이버의 두뇌'로 규정하며, 사람의 개입 없이 주행 전체를 책임지는 물리적 AI를 안전하게 굴리려면 결정론적이고 지연이 극히 낮은 성능을 갖춘 시스템으로의 근본적 전환이 필요하다고 강조했다.
데이터센터급 성능을 트렁크 안에
웨이모가 설명하는 자사 컴퓨팅의 특징은 데이터센터에 견줄 만한 처리 능력을 차량이라는 제약 조건 안에서 실현했다는 점이다. 운전 보조(ADAS) 수준의 컴퓨팅과 달리, 사람이 백업으로 대기하지 않는 완전 자율주행은 훨씬 높은 성능을 요구한다. 회사는 2억 마일이 넘는 완전 자율주행 경험을 토대로 컴퓨팅 설계의 원칙을 세 가지로 정리했다. 첫째는 반응성이다. 모든 판단이 차량 내부에서 밀리초 단위로 처리되며, 이른바 '첫 픽셀에서 동작까지'의 지연을 최소화하도록 스택 전체를 최적화했다. 웨이모는 이를 뒷받침하는 원시 연산 능력을 지난 8년 동안 20배로 끌어올렸다고 밝혔다.
둘째는 내구성이다. 차량용 컴퓨팅은 지속적인 진동과 충격, 극한의 온도를 견뎌야 한다. 웨이모는 이를 위해 컴퓨팅을 차량의 액체 냉각 시스템에 직접 통합해, 겨울철 중서부의 혹한이든 피닉스의 폭염이든 성능을 유지하도록 설계했다고 설명한다. 셋째는 이중화다. 사람이 넘겨받을 수 없는 만큼 안전과 중복성이 기본으로 내장돼 있다. 회사는 컴퓨팅을 '두 개의 독립적인 엔진'에 비유하며, 평소에는 하나의 단위로 병렬 작업을 수행하다가 한쪽에 결함이 생기면 다른 쪽이 매끄럽게 이어받는 구조라고 밝혔다.
5나노 자체 ASIC과 이종 아키텍처
이번 공개의 핵심은 웨이모가 자체 설계한 5나노 ASIC이다. 이 칩은 라이다·레이더·카메라에서 들어오는 방대한 원시 데이터를 코어 ML 두뇌로 보내기 전에 처리, 융합하고 신경망을 실행하는 전용 가속기다. 특히 저조도 환경에서 인식을 높이는 시간적 노이즈 제거 같은 기능을 통해 원시 스트림에서 중요한 정보를 곧바로 추출한다고 한다. 웨이모는 실리콘과 센서, 알고리즘을 나란히 함께 설계함으로써 희소 합성곱부터 밀집 트랜스포머까지 다양한 모델을 실행할 수 있게 됐다고 설명했다. 이 ASIC만으로 전단 처리에 1,000 TOPS 이상의 ML 성능을 제공하지만, 회사는 실제로 자주 마주치는 저배치(low-batch) 상황에서의 달성 성능을 최대화하기 위해 스택 전반을 최적화한다고 덧붙였다.
웨이모의 접근은 'ML 우선(ML-primary)' 아키텍처라는 표현에 응축돼 있다. 신경망을 최소 지연으로 돌리는 것을 최우선에 두되, 오케스트레이션과 데이터 이동, 로깅 같은 비ML 작업은 최적의 CPU·GPU·가속기에 맡겨 ML 연산 시간을 최대한 확보하는 균형 잡힌 이종(heterogeneous) 시스템을 지향한다. 최신 시스템은 13대의 고해상도 카메라에서 들어오는 데이터를 동시에 실시간으로 처리하며, 기존 카메라가 놓치는 환경 세부 정보와 저조도 인식을 끌어낸다고 회사는 강조했다.
실무자가 눈여겨볼 대목과 한계
이 발표에서 한국 IT 실무자가 주목할 만한 지점은 '엣지 컴퓨팅의 극한 사례'로서의 설계 사고방식이다. 전력 효율을 지키면서 트렁크 공간과 정숙성, 배터리 효율을 해치지 않는 고집적 시스템을 만들기 위해 기성품 부품에서 커스텀 시스템으로 전환했다는 서술은, 물리적 제약과 실시간 요구가 동시에 걸리는 온디바이스 AI 설계 전반에 시사점을 준다. 자체 실리콘과 파트너 생태계를 병행하는 전략도 눈에 띈다. 웨이모는 AMD, 마이크론, 엔비디아, 삼성, 샌디스크, 소시오넥스트, TSMC 등과 협력한다고 밝혀, 커스텀 칩과 상용 솔루션을 조합해 확장성을 확보하는 구도를 보여준다.
다만 이번 공개는 회사 스스로 '트렁크 아래를 처음 살짝 들여다본 것'이라고 표현할 만큼 개괄적 소개에 머문다. ASIC의 세부 스펙, 전체 시스템의 전력 소모나 발열 수치, 경쟁사 대비 정량 비교 같은 핵심 데이터는 제시되지 않았고, 20배·1,000 TOPS·13대 카메라 같은 숫자도 맥락을 검증할 외부 기준 없이 제공된다. 즉 마케팅과 채용·기술 리크루팅의 성격이 짙은 발표라는 점을 감안해 읽을 필요가 있다. 웨이모는 핫칩스(Hot Chips) 콘퍼런스 발표를 통해 더 자세한 내용을 공유하겠다고 예고했는데, 실질적인 아키텍처 검증은 그 자리를 포함한 후속 공개를 기다려야 할 것으로 보인다.