AMD가 차세대 서버 프로세서 EPYC '베니스(Venice)'의 설계 방향을 공개했다. Chips and Cheese가 AMD In-Depth 행사에서 서버 아키텍처를 총괄하는 디자인 엔지니어링 부사장 마헤시 수브라모니와 나눈 인터뷰를 통해, Zen 6 기반 베니스가 어떤 제약과 선택 위에 만들어졌는지 드러났다. 핵심은 이 칩이 AMD의 서버 CPU 가운데 처음으로 2.5D 어드밴스드 패키징을 적용했다는 점이다.
대역폭이 패키징을 바꿨다
패키징 방식을 바꾼 가장 직접적인 이유는 칩 내부에서 옮겨야 하는 데이터 양이다. 이전 세대는 CPU 칩렛과 I/O 다이 사이에서 700GB/s에 조금 못 미치는 대역폭을 다뤘고, 이 정도는 기존 패키징과 GMI 링크로 충분했다. 그러나 베니스는 각 CCD가 I/O 다이로 데이터를 밀어 넣으면서 1.6TB/s 수준을 요구한다. 수브라모니는 이 데이터를 기존 패키징으로 옮겼다면 비트를 전송하는 데만 전체 SoC 전력 예산의 10~15%가 쓰였을 것이라고 설명했다. 논문에 인용되는 비트당 피코줄 수치와 무관하게 발생하는 비용이라는 것이다. 어드밴스드 패키징은 저전력·고대역폭·저지연 링크를 제공하므로, 성능과 전력 효율을 모두 잡기 위한 자연스러운 선택이었다.
다만 CCD를 짧은 다이 대 다이 연결로 I/O 다이에 붙이면 간격이 극도로 좁아지고, 접점에서 다이의 폭을 맞춰야 하며 배선 거리를 수 밀리미터 수준으로 유지해야 한다. 각 다이에 연결을 끌어낼 충분한 둘레(perimeter)가 필요하다는 뜻이다. 이 제약이 I/O 다이의 형태를 결정했고, 결국 I/O를 두 개의 다이로 분할하는 근본적인 이유가 됐다.
하나의 설계를 뒤집어 두 번 쓰다
I/O 분할에서 AMD가 택한 방식은 동일한 I/O 다이 설계를 180도 회전해 거울처럼 두 번 배치하는 것이었다. 서로 다른 두 종류를 따로 만들지 않고 한 설계를 미러링했다. 대신 루트 오브 트러스트나 부팅용 I/O처럼 기능적으로 한 번만 존재하면 되는 일회성 IP 블록은 중복되므로 면적 오버헤드가 생긴다. 또 하나의 과제는 패브릭 토폴로지였다. NPS1 구성에서 베니스 SoC는 두 다이를 하나의 도메인처럼 동작시켜야 하는데, 미러링된 구조에서도 서비스 품질과 대역폭·지연을 제대로 보장하는 일이 쉽지 않았다. 수브라모니는 코어 수가 계속 늘어날수록 이런 타일형 접근이 점점 유리해질 것이라고 봤다.
플랫폼별 차이도 분명하다. 엔터프라이즈용 SP8은 SP7과 같은 두 I/O 다이 구조를 쓰지만 다이 자체는 다르다. SP7은 더 많은 연산과 메모리 채널에, 상대적으로 적은 I/O 레인에 초점을 맞춘다. 반대로 SP8은 메모리 채널이 절반이지만 소켓당 128개 PCIe 레인을 모두 제공하며, 코어 수는 Zen 6에서 최대 96개, Zen 6c에서 128개를 겨냥한다. 하나의 슈퍼셋 다이로 통합하면 양쪽 모두에 비용이 전가되므로, AMD는 각각의 요구에 맞춰 별도 I/O 다이를 설계하는 쪽을 택했다.
33번째 코어와 캐시의 트레이드오프
CCD 설계에서도 제품 요구에 밀착한 선택이 드러난다. 32코어 CCD는 코어 8개당 포트 하나꼴로 4개의 SDP 포트를 가진다. 반면 12코어 CCD는 코어 수가 적은데도 3개의 포트를 둔다. 이는 12,800MT/s MRDIMM 16채널을 포화시키기 위해 각 CCD가 더 많은 대역폭을 끌어와야 하기 때문이다. 코어당 대역폭만 보면 과해 보이지만, 목표는 SoC 전체 메모리 대역폭을 채우는 데 각 CCD가 기여하도록 하는 것이다.
물리적으로 33개 코어를 담은 32코어 CCD도 흥미롭다. 다이가 커질수록 수율에 영향을 주는 결함 확률이 높아지는데, AMD는 33번째 코어와 L3 슬라이스를 더해 결함이 생긴 코어 하나를 메시를 유지한 채 비활성화할 수 있게 했다. 활성 코어는 언제나 32개로 고정되므로 캐시 연관도나 메시 토폴로지는 단순하게 유지된다. 비싼 선단 공정의 대형 다이에서 양산 수율을 확보하기 위한 실용적 장치다.
캐시 용량이 커지면 지연에서 대가가 따른다. 128MB L3는 적중 여부를 판별하는 데 몇 클럭을 더 쓴다. 다만 수브라모니는 메모리 지연을 단독으로 보지 말라고 강조한다. 캐시가 크면 특히 CCD에 상주 스레드가 많을 때 적중이 늘어나고, 이 적중은 메모리까지 나가는 것보다 훨씬 빠르기 때문에 조회에 쓴 몇 사이클을 상쇄하고도 남는다는 것이다. 유휴 상태에서 DRAM 폐쇄 페이지 접근만 측정하면 두 CCD의 지연 차이가 보이겠지만, 그 차이는 대부분 L3 조회 지연에서 비롯된다.
3D V-Cache 확장에 대해서는 신중한 태도를 보였다. 96코어 제품은 12코어 CCD에 X3D로 96MB를 더해 CCD당 약 144MB L3를 구성한다. 하지만 밀도가 높은 대형 CCD 위에 다시 큰 X3D 다이를 쌓는 것은 비용이 크고, 256코어 제품처럼 코어당 전력 예산이 빡빡한 균형형 설계에서는 캐시보다 주파수나 대역폭을 먼저 끌어올리는 편이 낫다고 봤다. 실무자 입장에서 베니스를 평가할 때는 패키징과 CCD 구성이 플랫폼마다 다르게 최적화됐다는 점, 그리고 캐시·대역폭·전력이 하나의 예산 안에서 서로 맞물려 움직인다는 점을 함께 고려해야 한다.