이제 CUDA만으로는 부족하다: MLSys 시대의 GPU 프로그래밍

최신 GPU(Hopper·Blackwell)에서 성능의 핵심은 더 이상 단순한 SIMT 병렬화가 아니다. 텐서 코어 활용, 비동기 메모리 이동(TMA), 워프 특화(warp specialization), 소프트웨어 파이프라이닝을 제대로 다뤄야 비로소 이론 성능에 근접할 수 있다. 순진하게 작성한 커널과 고도로 최적화된 커널의 격차는 과거와 비교할 수 없을 만큼 벌어졌고, 레지스터·공유메모리·비동기 복사로 이어지는 메모리 계층 관리가 곧 성능을 결정한다. 이런 복잡성 때문에 CUTLASS·CuTe, Triton, TileLang 같은 새로운 추상화와 컴파일러 스택이 등장해, 하드웨어 디테일을 감추면서도 고성능 커널을 간결하게 표현하도록 돕는다. MLSys 엔지니어에게 던지는 메시지는 분명하다. 모델 구조뿐 아니라 GPU의 실행 모델을 이해하고, 상황에 맞는 DSL과 컴파일러를 선택해 직접 커널을 다룰 줄 아는 능력이 앞으로의 핵심 경쟁력이 된다는 것이다.