무슨 일이 있었나
GitHub에 NVIDIA Tesla V100 SXM2 모듈의 핀아웃과 NVLink 연결 정보를 정리한 레퍼런스 저장소가 올라왔어요. 핀아웃은 커넥터의 핀마다 어떤 신호를 맡는지 정리한 배치도예요. 얼핏 보면 아주 마니아적인 자료 같죠. 그런데 요즘 홈랩(집에 서버를 두고 실험하는 것)이나 로컬 LLM을 하는 사람들 사이에서 중고 V100이 꽤 진지한 선택지로 떠오르고 있어서, 이런 자료가 생각보다 반가워요.
SXM2가 뭐냐면
우리가 아는 그래픽카드는 메인보드의 PCIe 슬롯에 꽂는 형태예요. 그런데 데이터센터용 고성능 GPU 중에는 SXM이라는 형태가 따로 있어요. 카드 대신 납작한 모듈을 서버 보드 위에 눕히고, 바닥면의 고밀도 커넥터로 연결하는 방식이에요. 이렇게 하면 PCIe 카드보다 전력을 더 많이 공급할 수 있고, GPU끼리 직접 잇는 NVLink 배선도 보드에 깔 수 있어요.
V100 SXM2에는 NVLink 2.0 링크가 6개 있어서 GPU 사이에 최대 300GB/s(양방향 합산)를 낼 수 있어요. PCIe 3.0 x16이 양방향 합쳐 약 32GB/s니까 거의 10배 차이예요. 모델 하나를 여러 GPU에 나눠 올릴 때는 GPU끼리 데이터를 주고받는 속도가 중요한데, 바로 여기서 NVLink가 힘을 써요.
문제는 SXM 모듈은 DGX-1 같은 전용 서버 보드가 없으면 쓸 수 없다는 거예요. 그래서 SXM2 모듈을 일반 PC의 PCIe 슬롯에 연결해 주는 어댑터 보드가 나왔어요. 이런 보드를 설계하거나 여러 장을 NVLink로 엮으려면 정확한 핀 배치를 알아야 해요. 그런데 NVIDIA가 이런 문서를 공개하지 않으니 커뮤니티가 직접 측정하고 정리할 수밖에 없었어요. 이번 저장소가 그런 지식을 한곳에 모은 자료예요.
왜 하필 V100일까
V100은 2017년에 나온 Volta 아키텍처 GPU예요. 행렬 곱셈 전용 연산 장치인 텐서 코어가 처음 들어간 세대이기도 해요. HBM2 메모리가 16GB 또는 32GB 들어 있고, 메모리 대역폭은 약 900GB/s예요. 클라우드와 데이터센터가 장비를 바꾸면서 SXM2 모듈이 중고 시장에 많이 풀렸어요. 전용 보드 없이는 못 쓰는 형태라 찾는 사람이 적다 보니 가격도 비교적 낮은 편이에요.
LLM 추론에서는 연산 성능보다 메모리 용량과 대역폭이 더 중요할 때가 많아요. 모델 가중치를 메모리에 전부 올려야 하고, 토큰을 하나 만들 때마다 그 가중치를 읽어야 하거든요. 그래서 메모리 대역폭이 큰 V100은 최신 GPU보다 느려도 가격 대비로는 꽤 매력적이에요.
하지만 주의할 점도 많아요
첫째, 소프트웨어 지원이 끝나가고 있어요. NVIDIA는 CUDA 13부터 Volta 이하 세대의 컴파일 지원을 뺐어요. Volta를 지원하는 드라이버도 R580 계열이 마지막이라고 안내했고요. 당분간은 CUDA 12.x에 머물러야 한다는 뜻이에요.
둘째, 최신 기법을 못 쓰는 경우가 있어요. Volta는 요즘 많이 쓰는 숫자 형식인 BF16을 하드웨어로 지원하지 않아요. FlashAttention 2 같은 최신 커널도 Ampere 세대 이후를 기준으로 만들어졌어요. FP16으로 돌리면 대부분 괜찮지만, 일부 라이브러리에서는 호환성 문제를 만날 수 있어요.
셋째, 전력과 발열이에요. SXM2 V100은 모듈 하나가 300W급이에요. 서버에서는 강한 팬이 바람을 밀어 넣어 식히니까, 일반 PC에서 쓰려면 냉각을 직접 해결해야 해요. 핀아웃을 잘못 이해하고 전원을 넣었다가 애써 구한 모듈을 태울 수도 있어요. 그래서 믿을 만한 레퍼런스가 더 중요한 거예요.
한국 개발자에게 주는 시사점
로컬 LLM을 돌리고 싶은데 최신 GPU 가격이 부담된다면, 중고 데이터센터 GPU라는 선택지가 있다는 걸 알아두면 좋아요. 다만 V100은 싸게 VRAM을 많이 얻는 대신, 소프트웨어 호환성 문제와 하드웨어 작업을 감수해야 하는 선택이에요. 납땜이나 전원 설계에 익숙하고 하드웨어 만지는 걸 즐기는 분들에게 맞는 길이에요.
하드웨어 설계에 관심이 있다면 이 저장소 자체가 좋은 공부거리예요. 고속 신호선, 전원 공급, GPU 간 인터커넥트가 실제로 어떻게 구성되는지 볼 수 있거든요.
마무리
한 줄 정리: 버려지던 데이터센터 GPU가 커뮤니티 레퍼런스 덕분에 홈랩 AI 장비로 다시 태어나고 있어요. 단, 지원 종료가 가까운 세대라는 점은 꼭 감안하세요.
로컬 AI용 GPU를 고른다면 최신 소비자용 카드와 중고 데이터센터 GPU 중 어느 쪽을 택하시겠어요? 중고 서버 GPU를 직접 다뤄본 경험이 있다면 들려주세요.
🔗 출처: Hacker News