프레임워크 없이 배우는 AI 엔지니어링: 콜랩 노트북으로 실전 스택 훑기

AI 엔지니어나 포워드 디플로이드 엔지니어(FDE)로 전환하려는 개발자에게 가장 큰 벽은 개념이 아니라 '무엇을 직접 손으로 만들어봐야 하는가'다. 최근 공개된 오픈소스 프로젝트 'AI Engineer Notebooks'는 이 질문에 실행 가능한 형태로 답한다. 랭체인 같은 상위 프레임워크에 의존하지 않고, 모델 API를 날것 그대로 호출하는 방식으로 구조화 출력, 툴 호출, RAG, 평가(eval), 에이전트 루프까지 이어지는 응용 LLM 스택 전체를 콜랩(Colab) 노트북으로 실습하도록 구성돼 있다.

이 프로젝트의 정체성은 '프레임워크 프리(framework-free)'라는 한 마디에 압축된다. 대부분의 입문 자료가 특정 라이브러리의 추상화를 통해 빠르게 결과를 보여주는 것과 달리, 여기서는 프롬프트부터 서빙, 파인튜닝, 그리고 레드팀 벤치마크까지 원시 API 위에서 직접 쌓아 올린다. 제작자는 이 방식이 실제 면접에서 검증받는 방식과 같다고 설명한다. 프레임워크가 감춰주는 내부 동작을 스스로 구현해봐야, 채용 과정에서 요구되는 이해 수준에 도달한다는 문제의식이다.

누구를 위한 자료인가

대상은 명확하다. 이미 프로덕션 코드를 배포할 수 있는 백엔드나 풀스택 엔지니어가, 그 위에 '응용 모델 계층'을 얹으려는 경우다. 프로젝트 설명은 AI 엔지니어, FDE, 어플라이드 AI, 솔루션 엔지니어(AI) 등의 직함을 나열하면서 '이름은 달라도 사실상 같은 일'이라고 정리한다. 한국 IT 업계에서도 최근 이런 포지션이 늘고 있지만 직무 정의가 회사마다 제각각인데, 공통적으로 요구되는 것은 파운데이션 모델 위에서 실제로 동작하는 시스템을 만들어내는 능력이라는 점을 이 자료는 분명히 한다.

구성은 위에서 아래로 순서대로 따라가도록 설계됐다. 각 노트북은 자체적으로 의존성을 설치하고 콜랩 시크릿에서 API 키를 읽어오며, 마지막에 연습 문제로 끝나는 자기 완결형이다. 특히 평가를 'evals-as-the-spine', 즉 전체를 관통하는 척추로 삼는다는 점이 눈에 띈다. 많은 실무자가 데모를 만든 뒤 성능을 정량적으로 검증하는 단계에서 막히는데, 평가를 곁가지가 아니라 중심축으로 배치한 설계는 실무 감각에 부합한다.

무료 API의 현실적 타협

실습 기반은 무료로 쓸 수 있는 Groq API다. 비용 부담 없이 시작할 수 있다는 것이 장점이지만, 제작자는 그 한계도 솔직하게 드러낸다. LoRA 같은 파인튜닝이나 서빙처럼 GPU가 필요한 주제는 무료 API만으로 돌릴 수 없기 때문에, 해당 노트북은 개념 위주로 먼저 가르친 뒤 콜랩 GPU를 쓰는 선택적 부록으로 분리해 두는 방식을 택했다. 6번 섹션의 LoRA 부록이 이 패턴의 본보기다. 즉 무료라는 제약을 숨기지 않고, 개념 학습과 GPU 실습을 구조적으로 나누어 우회하는 셈이다.

이 자료는 단독으로 존재하지 않는다. 'Transitioning to Forward Deployed Engineer / AI Engineer'라는 학습 계획 문서의 실습 동반자로 만들어졌다. 계획 문서가 '무엇을 왜 배워야 하는가'를 설명한다면, 노트북은 그것을 실제로 실행해보는 자리다. 이론과 실습을 별도 트랙으로 나누되 서로 참조하도록 엮은 이 구조는, 혼자 학습하는 사람이 방향을 잃지 않도록 돕는 장치로 읽힌다.

학습의 종착점은 두 가지로 나뉜다. 하나는 케이스 스터디로, 하나의 현실적인 시나리오를 끝까지 실행 가능한 형태로 풀어내며 배우는 용도다. 다른 하나는 캡스톤으로, 서빙 컴포넌트와 평가 리포트를 갖춘 실제 저장소를 스스로 구축해 이력서에 올리는 결과물이다. 제작자는 '케이스 스터디는 배우기 위한 것이고 캡스톤은 채용을 위한 것'이라며 둘의 목적을 명확히 구분한다. 배포 가능한 서빙 요소와 평가 보고서를 요구한다는 점에서, 단순 튜토리얼 완주가 아니라 취업 시장에서 통하는 산출물을 겨냥하고 있음을 알 수 있다.

실무자 입장에서 이 자료의 가치와 한계를 함께 짚을 필요가 있다. 프레임워크를 걷어내고 원시 API로 작업하는 훈련은 내부 동작을 이해하는 데 확실히 유익하지만, 실제 현업 환경에서는 오히려 검증된 프레임워크를 쓰는 경우가 많다는 점은 감안해야 한다. 또한 무료 Groq API와 콜랩 환경에 맞춘 설계이므로, 대규모 GPU 인프라나 상용 서비스 배포까지 그대로 옮겨가려면 추가적인 간극을 스스로 메워야 한다. 그럼에도 프롬프트에서 서빙까지 이어지는 응용 LLM 스택을 한 번에 손으로 훑어볼 수 있다는 점에서, 전환을 준비하는 개발자에게는 로드맵이자 연습장으로서 참고할 만한 자료다.