[심층분석] AI 엔지니어링을 맨바닥부터: 435개 레슨, 20단계, 4개 언어로 배우는 정공법

AI를 '쓰는 사람'은 많지만, '만드는 사람'은 왜 부족할까요?

요즘 개발자 커뮤니티를 돌아다니다 보면 묘한 풍경을 보게 돼요. 누구나 ChatGPT API를 호출해서 챗봇을 만들고, LangChain으로 에이전트를 엮고, 벡터 DB에 임베딩을 집어넣어요. 그런데 막상 "이 모델이 학습할 때 손실 함수(loss function, 모델이 얼마나 틀렸는지를 숫자로 나타낸 값)가 왜 그런 모양으로 떨어졌어요?"라고 물어보면 답하지 못하는 경우가 많아요. 어텐션(attention, 트랜스포머 모델이 문장 안에서 어떤 단어에 더 주목할지 정하는 메커니즘)을 코드로 직접 구현해본 사람은 더 드물고요.

이런 답답함 속에서 등장한 게 바로 rohitg00/ai-engineering-from-scratch라는 오픈소스 커리큘럼이에요. 이름 그대로 "AI 엔지니어링을 맨바닥부터(from scratch)" 배우자는 취지의 무료 학습 자료인데요, 단순한 강의 모음이 아니라 435개 레슨, 20개 단계(phase), 약 320시간 분량으로 짜인 거대한 체계예요. 그것도 Python, TypeScript, Rust, Julia 네 가지 언어를 오가면서 말이죠.

저자가 인용한 통계가 인상적이에요. "학생 중 84%는 이미 AI 도구를 쓰고 있지만, 자기가 그걸 전문가 수준으로 다룰 준비가 됐다고 느끼는 사람은 18%뿐이다." 이 격차를 메우는 게 이 커리큘럼의 존재 이유예요. 즉, AI를 "가져다 쓰는" 단계에서 "직접 만드는" 단계로 넘어가고 싶은 사람들을 위한 정공법인 셈이죠.

왜 지금, 이런 커리큘럼이 필요했을까요?

사실 AI 학습 자료는 차고 넘쳐요. Andrew Ng 교수의 Coursera 강의, fast.ai, Karpathy의 "Neural Networks: Zero to Hero" 영상, Hugging Face의 NLP 코스, 그리고 수많은 블로그와 논문 리뷰들. 그런데 저자가 지적한 문제는 이거예요. "파편화되어 있다"는 거죠.

이게 무슨 말이냐면, 여기서는 트랜스포머 논문 리뷰, 저기서는 파인튜닝(fine-tuning, 이미 학습된 모델을 내 데이터로 다시 살짝 학습시키는 것) 튜토리얼, 또 다른 곳에서는 화려한 에이전트 데모를 보여주는데, 이 조각들이 서로 이어지지 않는다는 거예요. 그래서 챗봇은 띄울 수 있는데 그 내부 동작은 설명을 못 하고, 에이전트에 함수를 연결할 줄은 아는데 그 안에서 어텐션이 뭘 하는지는 모르는 상태가 돼요.

이 커리큘럼은 그 파편들을 하나의 "척추(spine)"처럼 꿰어보자는 시도예요. 바닥에는 선형대수(linear algebra, 행렬과 벡터를 다루는 수학)가 깔리고, 그 위에 미적분, 확률, 그 다음 신경망 기초, 트랜스포머, 그리고 맨 위에는 자율 에이전트 군집(swarm)까지 차곡차곡 쌓아 올리는 구조거든요.

커리큘럼의 뼈대를 들여다보면

20단계의 의미

20개 단계가 어떻게 구성되는지 보면 설계 철학이 잘 드러나요. 정확한 순서는 저장소에서 확인해야 하지만, 구조는 대략 이렇게 흘러가요.

• 하위 단계: 수학 기초 → 알고리즘과 자료구조 → 머신러닝 기초
• 중간 단계: 신경망 직접 구현 → 토크나이저(tokenizer, 문장을 모델이 이해할 수 있는 작은 조각으로 쪼개는 도구) → 어텐션 → 트랜스포머
• 상위 단계: 대규모 언어 모델(LLM) 파인튜닝 → RAG(Retrieval-Augmented Generation, 외부 지식을 검색해서 답변에 반영하는 기법) → 에이전트 루프 → MCP 서버 → 멀티 에이전트 시스템

핵심은 "PyTorch가 등장하기 전에 이미 그 내부 동작을 알고 있어야 한다"는 원칙이에요. 보통 강의는 PyTorch부터 가르치잖아요? nn.Linear, nn.Transformer 같은 걸 import하고 학습 루프를 돌리는 식으로요. 그런데 이 커리큘럼은 그 반대예요. 역전파(backpropagation, 모델의 오차를 거꾸로 거슬러 올라가며 가중치를 업데이트하는 알고리즘)를 수식으로 유도하고, 손으로 코드를 짜고, 그게 어떻게 동작하는지 눈으로 확인한 다음에야 라이브러리를 쓰는 거죠.

매 레슨이 "아티팩트"를 남긴다

이 부분이 특히 흥미로워요. 모든 레슨은 "재사용 가능한 결과물(artifact)"을 하나씩 남기게 되어 있어요. 그게 프롬프트일 수도 있고, 스킬(skill)이나 에이전트, 또는 MCP 서버(Model Context Protocol server, Claude 같은 모델에 도구나 데이터를 연결해주는 표준화된 서버)일 수도 있어요.

이게 왜 중요하냐면, 학습이 "한 번 보고 끝"이 아니라 자기만의 도구 상자가 점점 쌓이는 구조가 되거든요. 1단계에서 만든 작은 토크나이저가 5단계에서 만들 LLM의 입력 처리에 쓰이고, 10단계에서 만든 에이전트가 15단계 멀티 에이전트 시스템의 부품이 되는 식이에요. 마치 레고처럼요.

4개 언어를 동시에 다루는 이유

Python, TypeScript, Rust, Julia. 처음엔 "굳이 왜?" 싶을 수 있어요. 그런데 각 언어가 AI 생태계에서 맡고 있는 역할이 다르거든요.

• Python: 모델 학습, 실험, 데이터 분석의 표준 언어예요. PyTorch, NumPy, Hugging Face가 다 여기에 있죠.
• TypeScript: 에이전트와 LLM을 실제 웹 서비스로 배포할 때 사용해요. Vercel AI SDK, LangChain.js 같은 도구가 이쪽에 모여 있어요.
• Rust: 토크나이저나 추론 엔진처럼 성능이 중요한 부분에서 쓰여요. Hugging Face의 tokenizers 라이브러리도 Rust로 짜여 있죠.
• Julia: 과학 계산과 수치 해석에 강한 언어로, 수학 기초를 다질 때 직관적인 표현이 가능해요.

그러니까 "AI 엔지니어"라는 직무가 단지 Python으로 노트북 돌리는 사람이 아니라, "필요에 따라 적절한 도구를 골라 쓰는 사람"이라는 메시지를 언어 선택에서부터 던지고 있는 거예요.

다른 학습 자료와는 뭐가 다를까요?

Karpathy의 "Zero to Hero"와 비교

Andrej Karpathy의 영상 시리즈도 "맨바닥부터" 만드는 걸 강조해요. micrograd로 자동미분을 만들고, makemore로 언어 모델을 만들고, nanoGPT로 GPT를 처음부터 짜는 식이죠. 이건 정말 명품 강의예요.

다만 차이가 있다면, Karpathy 시리즈는 "GPT 한 줄기"에 집중된 깊이 있는 미니 시리즈예요. 반면 이 커리큘럼은 수학부터 멀티 에이전트까지 폭넓게 커버하는 종합 코스에 가까워요. 둘은 경쟁이라기보다 보완 관계라고 봐요. Karpathy 영상으로 핵심 직관을 잡고, 이 커리큘럼으로 전체 지도를 그리는 식이죠.

fast.ai와 비교

fast.ai는 "실용주의"와 "하향식(top-down)" 접근으로 유명해요. 즉, 일단 결과를 만들어보고 점점 내부로 파고드는 방식이거든요. 처음부터 SOTA(State-of-the-Art, 현존 최고 수준) 모델을 돌려보면서 흥미를 잃지 않게 하는 게 강점이에요.

반면 이 커리큘럼은 상향식(bottom-up)이에요. 수학과 알고리즘부터 차근차근 쌓아 올라가요. 어느 게 더 좋다기보다 학습자 성향의 문제예요. 일단 동기부여가 필요한 사람은 fast.ai가, 기초가 흔들리는 게 견디지 못하는 사람은 이 커리큘럼이 맞을 거예요.

Hugging Face 코스와 비교

Hugging Face의 NLP 코스나 Deep RL 코스는 자사 생태계(transformers, datasets, accelerate 라이브러리)를 잘 다루도록 설계되어 있어요. 실무 투입에는 정말 빠른 길이죠. 하지만 "라이브러리 없이 처음부터" 짜보는 경험은 상대적으로 적어요. 이 커리큘럼은 그 빈자리를 정확히 노리고 있는 셈이에요.

한국 개발자에게 이게 어떤 의미일까요?

1) "AI 엔지니어" 직군 전환을 고민하는 분들

요즘 백엔드, 프론트엔드 개발자분들 중에 "AI 쪽으로 옮겨가고 싶은데 어디부터 봐야 하지?" 고민하는 분들 많잖아요. 채용 공고를 보면 "LLM 파인튜닝 경험", "RAG 시스템 구축", "에이전트 개발" 같은 키워드가 떠다니는데, 막상 강의를 듣다 보면 흩어진 조각들만 잡히죠.

이럴 때 이 커리큘럼은 체계적인 학습 지도로 활용하기 좋아요. 다 풀 필요는 없어요. 본인이 약한 단계만 골라서 채우는 거죠. 예를 들어 "트랜스포머 내부는 어느 정도 알겠는데, 에이전트 루프나 MCP는 잘 모르겠다" 싶으면 그 챕터만 집중해서 보는 거예요.

2) 사이드 프로젝트와 포트폴리오 측면

매 레슨이 아티팩트를 남기는 구조라고 했잖아요? 이게 한국 개발자한테 큰 장점이 돼요. 면접에서 "AI 프로젝트 해보셨어요?"라는 질문이 나왔을 때, "제가 직접 구현한 토크나이저, 어텐션, RAG 파이프라인, MCP 서버가 깃허브에 있어요"라고 말할 수 있는 거죠. "OpenAI API 호출해서 챗봇 만들었어요"보다 훨씬 강한 시그널이에요.

3) 학습 로드맵 제안

시간이 한정된 직장인이라면 이런 순서를 추천드려요.

1. 첫 2개월: 수학과 신경망 기초 단계. 하루 1~2시간씩, 주말에 몰아서 보기. Julia보다는 Python 위주로.
2. 3~4개월차: 트랜스포머와 LLM 직접 구현 단계. 여기서 가장 많은 "아하!" 모먼트가 나와요.
3. 5~6개월차: 에이전트와 MCP, 멀티 에이전트 단계. 본인 업무와 연결되는 작은 사이드 프로젝트를 곁들이면 효과가 배가돼요.

물론 320시간이라는 분량은 만만치 않아요. 매일 한 시간씩 하면 1년 가까이 걸리는 양이에요. 그래서 "완주"보다 "필요한 깊이만큼 파기"를 목표로 잡는 게 현실적이에요.

4) 도입할 때 조심할 점

다만 이런 커리큘럼이 만능은 아니에요. 몇 가지 한계도 짚어봐야 해요.

• 빠른 트렌드 반영: AI 분야는 6개월이면 분위기가 바뀌어요. 커리큘럼이 작성된 시점의 "최신"이 지금은 옛것일 수 있어요. 그래서 최신 논문이나 기술 블로그와 병행해서 봐야 해요.
• 혼자 학습의 한계: 코드를 직접 짜다 보면 막힐 때가 많은데, 옆에서 봐줄 사람이 없으면 며칠씩 헤맬 수 있어요. 스터디 그룹이나 디스코드 커뮤니티를 끼고 가는 걸 추천드려요.
• 한국어 자료의 부재: 영어로 작성되어 있다 보니, 영어에 부담을 느끼는 분들에겐 진입 장벽이 있어요. 다만 Claude나 ChatGPT로 단락별 번역과 질의응답을 병행하면 충분히 극복할 수 있어요.

앞으로의 변화를 어떻게 봐야 할까요?

이런 "맨바닥부터" 류의 자료가 늘어나는 건 시장이 한 단계 성숙해지는 신호로 보여요. 2023년이 "누구나 API 한 줄로 챗봇을 만드는 시대"였다면, 2024~2025년은 "그래서 이게 어떻게 돌아가는지 진짜 아는 사람"을 가려내는 시기로 가고 있거든요. 채용 시장에서 LLM을 "써본" 사람은 흔해졌지만, 내부를 "이해한" 사람은 여전히 귀하니까요.

또 한 가지 흥미로운 건, 커리큘럼 안에 MCP 서버 만들기 같은 최신 주제가 들어와 있다는 점이에요. MCP는 비교적 최근에 표준화된 프로토콜인데, 이걸 학습 자료에 포함시킨 건 "이미 다 정해진 기술"만 가르치는 게 아니라 "진행 중인 흐름"까지 따라가겠다는 의지로 읽혀요.

여러분께 묻고 싶어요

• AI를 공부할 때 "위에서 아래로" 내려가는 방식과 "아래에서 위로" 올라가는 방식 중 어느 쪽이 본인에게 맞다고 느끼시나요?
• 직접 구현해본 AI 컴포넌트 중에서 "이걸 짜보고 나니 책이 다르게 읽혔다"고 느낀 게 있다면 무엇인가요?
• 만약 6개월의 시간이 주어진다면, 이 커리큘럼처럼 종합 코스를 완주하시겠어요, 아니면 특정 주제(예: 에이전트, RAG) 하나를 깊게 파시겠어요?