LLM이 도대체 어떻게 작동하는 걸까? 직접 만들어보면 이해돼요 — GuppyLM 프로젝트

GPT, Claude, Gemini… 다들 쓰는데, 원리는 알고 계신가요?

요즘 개발하면서 LLM(대규모 언어 모델)을 안 쓰는 사람이 거의 없죠. 코드 자동완성, 챗봇, 문서 요약까지. 그런데 막상 "LLM이 어떻게 동작해?"라고 물으면, 명쾌하게 설명할 수 있는 분은 많지 않을 거예요. 트랜스포머 아키텍처, 어텐션 메커니즘, 토크나이저… 논문을 읽으려니 수식 투성이고, 실제 코드를 보려니 수천 줄이 넘어가니까요.

이 문제를 정면으로 해결하려는 오픈소스 프로젝트가 있어요. GuppyLM이라는 프로젝트인데요, 이름처럼 아주 작은(guppy = 구피, 작은 열대어) 언어 모델을 밑바닥부터 직접 만들어볼 수 있게 해주는 교육용 프로젝트예요.

밑바닥부터 쌓아올리는 LLM의 구조

GuppyLM이 특별한 건 "갖다 쓰는" 프로젝트가 아니라 "이해하기 위한" 프로젝트라는 점이에요. 전체 코드가 매우 간결하게 작성되어 있고, LLM을 구성하는 핵심 요소들을 하나씩 직접 구현해볼 수 있거든요.

언어 모델이 텍스트를 처리하는 과정을 간단히 설명하면 이래요. 먼저 토크나이저(Tokenizer)가 우리가 입력한 문장을 숫자로 바꿔요. 이게 뭐냐면, 컴퓨터는 "안녕하세요"라는 글자를 직접 이해하지 못하니까, 각 단어(또는 단어 조각)에 번호를 매기는 거예요. "안녕" → 42, "하세요" → 137 이런 식으로요. GuppyLM에서는 이 토크나이저를 직접 만들어보면서 텍스트가 숫자로 변환되는 과정을 체험할 수 있어요.

그 다음이 핵심인 트랜스포머(Transformer) 구조인데요, 이건 2017년 구글이 발표한 "Attention Is All You Need" 논문에서 나온 아키텍처예요. 쉽게 비유하면, 문장 속 각 단어가 다른 단어들과 얼마나 관련이 있는지를 계산하는 방식이에요. "나는 사과를 먹었다"에서 "먹었다"가 "사과"와 강하게 연결된다는 걸 스스로 학습하는 거죠. GuppyLM은 이 어텐션 메커니즘을 최소한의 코드로 구현해놔서, 수식이 실제로 코드에서 어떻게 돌아가는지 눈으로 확인할 수 있어요.

기존 교육 자료와 뭐가 다를까?

사실 LLM 원리를 설명하는 자료는 이미 꽤 많아요. Andrej Karpathy의 "nanoGPT"가 대표적이고, Jay Alammar의 "The Illustrated Transformer" 같은 시각화 자료도 유명하죠. GuppyLM은 이런 프로젝트들보다 한 단계 더 작은 규모를 지향해요. nanoGPT도 이미 상당히 간결한 편이지만, GuppyLM은 정말 "최소한의 뼈대"만 남겨서 각 컴포넌트의 역할을 더 명확하게 보여주려는 의도가 있어요.

특히 Python과 PyTorch 기초만 알면 따라갈 수 있도록 설계되어 있다는 점이 좋아요. 데이터 준비부터 모델 정의, 학습, 텍스트 생성까지 전체 파이프라인을 한 프로젝트 안에서 경험할 수 있거든요. 마치 레고 세트처럼 조립하면서 전체 그림을 이해하는 느낌이에요.

한국 개발자에게 이게 왜 중요할까?

AI 엔지니어나 ML 엔지니어가 되고 싶은 분들한테는 LLM의 내부 구조를 이해하는 게 정말 중요해요. API만 호출할 줄 아는 것과, 내부에서 어떤 일이 벌어지는지 아는 건 문제 해결 능력에서 큰 차이가 나거든요. 프롬프트 엔지니어링을 할 때도 토큰화 방식이나 어텐션 메커니즘을 이해하면 훨씬 효과적으로 할 수 있고요.

또 요즘 채용 면접에서도 "트랜스포머 구조를 설명해보세요" 같은 질문이 자주 나오잖아요. 논문만 읽고 외운 것과, 직접 코드로 구현해본 것은 설명의 깊이가 다를 수밖에 없어요. 주말에 반나절 정도 투자해서 GuppyLM 코드를 따라가보는 것만으로도 꽤 많은 걸 얻을 수 있을 거예요.