프레임워크 없이 맨손으로 언어 모델을 만든다고?
요즘 AI 모델 만든다고 하면 대부분 파이토치(PyTorch)나 텐서플로(TensorFlow) 같은 프레임워크를 써요. 이게 뭐냐면, 신경망을 학습시킬 때 필요한 복잡한 수학 계산(특히 미분, 즉 역전파)을 알아서 처리해주는 도구 상자예요. 덕분에 우리는 모델 구조만 그려주면 나머지는 프레임워크가 다 해주죠. 그런데 'NanoEuler'라는 프로젝트는 정반대로 갔어요. 이 도구 상자를 싹 걷어내고, 순수하게 C 언어와 CUDA만으로 GPT-2 규모의 언어 모델을 밑바닥부터 직접 만들었거든요.
GPT-2 규모, 그리고 '밑바닥부터'의 의미
GPT-2는 2019년 OpenAI가 공개한 언어 모델이에요. 가장 작은 버전이 파라미터(모델이 학습으로 익히는 숫자 값) 약 1억 2천만 개 규모인데, 지금 기준으로는 작지만 '진짜 언어 모델'의 구조를 온전히 갖춘 최소 단위로 여겨져서 학습용 교보재로 자주 쓰여요.
NanoEuler가 한 '밑바닥부터(from scratch)'라는 말은, 행렬 곱셈, 어텐션(attention) 계산, 레이어 정규화, 소프트맥스, 그리고 학습의 핵심인 역전파(backpropagation)까지 전부 직접 손으로 구현했다는 뜻이에요. 보통은 loss.backward() 한 줄로 끝나는 그 미분 계산을, CUDA 커널(GPU에서 병렬로 도는 작은 함수)로 하나하나 짜 넣은 거죠. CUDA가 뭐냐면, 엔비디아 GPU에게 '이 계산을 수천 개의 코어로 동시에 처리해라'고 명령하는 프로그래밍 도구예요. GPU가 AI 학습에 빠른 이유가 바로 이 병렬 처리 덕분인데, 프레임워크는 이걸 알아서 해주지만 NanoEuler는 개발자가 직접 메모리 배치와 스레드 분할까지 신경 써가며 작성했어요.
왜 이런 걸 만들까 — llm.c 계보
이런 시도가 처음은 아니에요. 가장 유명한 건 안드레이 카파시(Andrej Karpathy)의 'nanoGPT'와 'llm.c'예요. nanoGPT는 파이토치로 GPT를 최대한 간결하게 재현한 교육용 코드고, llm.c는 거기서 한발 더 나아가 순수 C/CUDA로 GPT-2 학습을 구현해 '프레임워크 없이도 이렇게 빠르고 간결하게 된다'를 보여준 프로젝트예요. NanoEuler도 이 계보 위에 있어요. 이름의 'Nano'가 그 정신을 그대로 잇고 있죠.
그럼 왜 굳이 이 고생을 할까요? 첫째는 교육이에요. 프레임워크가 가려놓은 내부를 직접 들여다보면 '아, 어텐션이 실제로는 이렇게 메모리에서 계산되는구나', '역전파가 이런 순서로 도는구나'를 뼛속까지 이해하게 되거든요. 둘째는 성능과 통제예요. 프레임워크는 범용이라 모든 상황에 최적은 아니에요. 직접 커널을 짜면 특정 하드웨어에 딱 맞게 쥐어짤 수 있고, 의존성도 거의 없어서 빌드와 배포가 가벼워져요.
업계 맥락
요즘 LLM이 너무 빠르게 발전하다 보니, 많은 개발자가 API만 가져다 쓰고 내부는 블랙박스로 남겨두는 경우가 많아요. 그런 와중에 이렇게 바닥부터 다시 짜보는 프로젝트가 꾸준히 나오는 건, '추상화 아래에서 실제로 무슨 일이 벌어지는지 아는 사람'의 가치가 그만큼 크기 때문이에요. 모델 최적화, 추론 속도 개선, 자체 하드웨어 대응 같은 일은 결국 이 바닥 지식이 있어야 할 수 있거든요.
한국 개발자에게
직접 C/CUDA로 학습 코드를 짜는 건 어렵지만, 코드를 읽는 것만으로도 가치가 커요. 특히 GPU 위에서 행렬 연산과 메모리가 어떻게 다뤄지는지 보는 경험은 추론 최적화나 온디바이스 AI를 다룰 때 큰 자산이 돼요. 당장 실무에 NanoEuler를 갖다 쓸 일은 거의 없겠지만, 'LLM을 안다'는 게 API 호출 너머 어디까지 갈 수 있는지 확인하는 좋은 지도가 되어줄 거예요. nanoGPT부터 시작해서 llm.c, NanoEuler 순으로 코드를 따라 읽어보는 학습 코스를 추천해요.
마무리
NanoEuler는 '프레임워크 없이도 언어 모델은 결국 행렬 곱셈과 미분의 연속'이라는 본질을 다시 일깨워줘요. 여러분은 LLM의 내부를 어디까지 파고들어 보셨나요? 블랙박스로 남겨둘지, 한 겹씩 열어볼지는 결국 선택이겠죠.
🔗 출처: Hacker News