프레임워크 없이 CUDA로 GPT를 처음부터: '뜯어보기 좋은' 미니 구현체

PyTorch가 가려놓은 커튼을 직접 걷어보자

우리가 평소에 모델을 학습시킬 때는 PyTorch나 텐서플로 같은 프레임워크를 쓰죠. loss.backward() 한 줄이면 미분(역전파)이 알아서 되고, GPU도 알아서 굴러가요. 정말 편하지만, 한편으로는 그 안에서 무슨 일이 벌어지는지 깜깜이가 되기 쉬워요. 그런 분들한테 딱 좋은 프로젝트가 나왔어요. markusheimerl/gpt라는, 순수 CUDA C로 GPT를 처음부터 직접 구현한 작고 해킹하기 좋은 코드예요.

여기서 CUDA가 뭐냐면, 엔비디아 GPU한테 '이 계산을 수천 개의 작은 일꾼한테 동시에 시켜라' 하고 직접 명령을 내리는 프로그래밍 방식이에요. 평소엔 프레임워크가 이걸 대신 해주는데, 이 프로젝트는 그 중간 단계를 다 걷어내고 행렬 곱셈부터 어텐션까지 손으로 짠 거예요.

직접 짜면 뭐가 보이냐면

이런 미니 구현체의 진짜 가치는 '전부 다 보인다'는 데 있어요. 프레임워크에서는 한 줄로 끝나는 어텐션(attention)이, 여기서는 쿼리·키·밸류를 곱하고 소프트맥스를 적용하는 과정이 전부 코드로 펼쳐져 있어요. 어텐션이 뭐냐면, 문장에서 각 단어가 다른 단어들 중 누구를 얼마나 '주목'해야 하는지를 계산하는 장치예요. '그것'이라는 단어가 앞의 어떤 명사를 가리키는지 모델이 찾아내는 게 바로 이 어텐션 덕분이거든요.

특히 직접 구현에서 가장 까다롭고, 그래서 가장 배울 게 많은 부분이 역전파(backward pass)예요. 순전파, 그러니까 입력을 넣어 답을 내는 계산은 비교적 직관적인데, 거꾸로 '이 답이 틀렸으니 각 가중치를 얼마나 고쳐야 하나'를 계산하는 역전파는 손으로 짜다 보면 미분의 연쇄법칙이 코드로 어떻게 살아 움직이는지 몸으로 익히게 돼요. PyTorch가 마법처럼 해주던 backward()의 정체를 비로소 마주하는 거죠.

비슷한 프로젝트들 속에서의 위치

이런 '교육용 처음부터 GPT' 계보가 꽤 있어요. 카파시의 nanoGPT는 파이썬으로 깔끔하게 핵심만 보여줘서 입문용으로 사랑받았고, 같은 사람의 llm.c는 순수 C로 학습을 구현해 '프레임워크 없이도 된다'는 걸 증명했죠. 이번 CUDA 구현체는 거기서 한 발 더 들어가서, GPU 위에서 실제로 병렬 계산이 어떻게 일어나는지를 보여준다는 점에서 결이 달라요. nanoGPT가 '모델 구조'를 가르친다면, 이건 '그 계산이 하드웨어에서 어떻게 도는가'를 가르치는 쪽이에요.

그래서 둘은 경쟁이라기보다 학습 단계가 달라요. 모델 구조를 먼저 파이썬으로 익히고, 그다음 GPU 저수준 동작이 궁금해질 때 이런 CUDA 코드를 뜯어보면 이해가 한 단계 깊어져요.

한국 개발자에게 주는 시사점

요즘 AI 인프라나 모델 최적화 쪽 일자리가 늘고 있는데, 거기서 진짜 경쟁력은 '프레임워크를 쓸 줄 안다'가 아니라 '그 아래에서 뭐가 도는지 안다'에서 나와요. 모델 추론 속도를 끌어올리거나, 메모리를 아끼거나, 커널을 직접 튜닝하는 일은 전부 이 저수준 이해가 바탕이 되거든요.

당장 회사 코드에 쓸 일은 없을지 몰라도, 주말에 이런 작은 구현체를 한 줄씩 따라 읽으며 '여기서 메모리는 어떻게 잡고, 스레드는 어떻게 나누는지' 살펴보는 것만으로도 GPU 프로그래밍의 감각이 생겨요. 코드가 작고 군더더기가 없으니 부담도 적고요.