"우리 회사 제품 문의, 재고 규정, 반품 정책… 이걸 다 아는 AI 하나 있으면 좋겠는데. ChatGPT는 우리 회사 내부 규정을 모르잖아요?"
— 어느 쇼핑몰 대표님이 상담 중에 하신 말씀
바로 여기에 비전공자도 도전할 수 있는 새로운 창업 기회가 숨어 있습니다. 거대한 GPT가 아니라, '우리 회사 일만 기가 막히게 잘하는' 초소형 AI 모델을 만들어 주는 대행 사업이죠. 놀랍게도 이 작업은 RTX 그래픽카드 한 장으로, 단 1.5시간 만에 학습을 끝낼 수 있습니다.
오늘은 초소형AI모델제작이 왜 지금 뜨는 사업인지, 그리고 비전공자가 이걸로 어떻게 월 100만 원짜리 유지보수 계약을 따내는지 5단계로 정리해 드립니다.
왜 'GPT'가 아니라 '초소형 AI'가 답일까?
많은 사장님들이 착각하는 게 있습니다. "AI는 클수록 좋다"는 생각이죠. 하지만 실제 회사 업무는 반대입니다. 쇼핑몰 CS 담당자에게 필요한 건 우주의 원리를 아는 AI가 아니라, "이 상품 XXL 재입고 언제 되나요?"에 정확히 답하는 AI입니다.
초소형 AI의 핵심 무기는 '작아서 회사 컴퓨터 안에 넣을 수 있다'는 점입니다. 데이터가 밖으로 안 나가니 보안에 민감한 병원·제조사·법무팀이 특히 열광합니다.
비전공자를 위한 5단계 실전 로드맵
"코딩 하나도 모르는데 가능해요?" 네, 가능합니다. 요즘은 명령어 몇 줄과 데이터 정리만 할 줄 알면 됩니다. 전체 흐름을 먼저 그림으로 보시죠.
STEP 1. 고객의 '지식'을 데이터로 바꾸기
가장 중요한 단계입니다. 쇼핑몰이라면 지난 6개월 CS 채팅 기록, 제조사라면 제품 매뉴얼과 불량 대응 지침, 병원이라면 자주 묻는 진료 안내를 '질문–답변' 쌍으로 정리합니다. 코딩이 아니라 엑셀 정리 능력이 핵심인 단계죠. 300~1,000개 세트면 충분히 똘똘한 모델이 나옵니다.
STEP 2. 공짜 '똑똑한 씨앗' 고르기
바닥부터 AI를 만들 필요가 전혀 없습니다. 이미 잘 학습된 3B~8B급 오픈소스 소형 모델을 무료로 가져와 씨앗으로 씁니다. 여기에 우리 고객 데이터만 얹으면 되니, 비전공자에게 딱 맞습니다.
STEP 3. RTX 한 장으로 1.5시간, 진짜 학습
핵심 기술은 LoRA(로라) 파인튜닝입니다. 모델 전체가 아니라 일부만 살짝 교육하는 방식이라, 고사양 서버 없이 RTX 3090/4090 한 장으로 충분합니다. 집에 게이밍 PC가 없어도 클라우드 GPU를 시간당 빌리면 1회 약 2천 원이면 끝납니다.
학습은 한 번에 완벽할 수 없습니다. "이 답변은 좀 아쉽네" 싶은 부분을 데이터에 보강해 2~3회 재학습하면 품질이 확 올라갑니다. 이 반복 과정이 바로 다음에 나올 '월 유지보수 계약'의 근거가 됩니다.
STEP 4. 검증하고 고객 PC에 심기
실제 현장 질문 50개로 테스트한 뒤, 고객 사무실 PC나 사내 서버에 설치합니다. 인터넷 없이도 돌아가는 온디바이스 AI이기 때문에, 병원·법무·제조 현장에서 "데이터가 밖으로 안 나간다"는 점이 결정적 계약 포인트가 됩니다.
STEP 5. 한 번 팔고 끝? 아니, 매달 받는다
진짜 수익은 여기서 나옵니다. 회사의 상품, 규정, 정책은 계속 바뀝니다. 그때마다 데이터를 업데이트하고 재학습해 주는 월 정기 유지보수를 제안하세요. 제작비는 1회성이지만, 유지보수는 매달 들어오는 현금흐름입니다.
오픈소스 소형 모델의 성능이 최근 2년간 폭발적으로 올랐습니다. 예전엔 대기업만 하던 파인튜닝이, 이제는 노트북 한 대와 클라우드 GPU 몇 시간이면 가능해졌습니다. 시장은 열렸는데, 이걸 대행해 줄 사람은 아직 드뭅니다.
비전공자가 진짜 넘어야 할 벽
솔직히 말씀드리면, 유튜브 영상 몇 개로 첫 모델은 만들 수 있습니다. 하지만 고객에게 돈을 받는 '납품 품질'은 다른 이야기입니다. 데이터를 어떻게 정제해야 헛소리(환각)를 줄이는지, 학습이 안 될 때 어디를 봐야 하는지, 고객 서버에 어떻게 안정적으로 설치하는지—이 실전 노하우가 수익을 가릅니다.
그래서 혼자 삽질하며 3개월을 보내느냐, 검증된 커리큘럼으로 지름길을 타느냐가 갈립니다. 투더제이(TTJ) 코딩클래스 정규반에서는 바로 이 '데이터 정제 → LoRA 파인튜닝 → 온디바이스 납품 → 유지보수 계약'까지, 비전공자가 실제 고객사에 납품 가능한 수준으로 실습하며 배웁니다. AI 창업을 진지하게 고민 중이라면, 한 번쯤 커리큘럼을 살펴보시길 권합니다.
거대한 AI를 이기려 하지 마세요. '우리 회사 일만 잘하는 작은 AI'를 만들어 주는 사람이 되세요. 시장은 크고, 아직 비어 있습니다.
— 작지만 확실한 AI 창업의 시작