"환자 진료 기록을 챗GPT에 넣고 요약을 시켰는데… 이거 나중에 문제 되는 거 아니에요?"
— 어느 지역 병원 원무과장이 실제로 던진 질문
병원, 법률사무소, 제조기업. 이 세 업종에는 공통점이 있습니다. AI를 쓰고 싶은데, 데이터를 밖으로 내보낼 수 없다는 것이죠. 환자 정보, 소송 자료, 설계 도면. 이런 데이터가 외부 클라우드로 전송되는 순간 개인정보보호법·의료법·영업비밀 이슈가 터집니다. 그래서 많은 조직이 AI 도입을 아예 포기합니다.
그런데 바로 여기에 비전공자도 진입할 수 있는 월 100만원짜리 대행 시장이 열려 있습니다. 핵심은 '오픈웨이트 LLM'과 '셀프호스팅'입니다. 오늘은 GLM-5.3 방식의 오픈웨이트 모델로 '데이터가 회사 밖으로 한 발짝도 안 나가는 사내 전용 AI'를 구축해 대행 수익을 만드는 5단계를 실전으로 풀어드립니다.
오픈웨이트 LLM은 '모델 파일 자체'를 내 서버에 다운로드해 돌립니다. 데이터가 인터넷을 타지 않으므로, 챗GPT처럼 "우리 데이터가 학습에 쓰이나요?" 걱정이 원천적으로 사라집니다.
클라우드 AI vs 오픈웨이트 사내 AI, 뭐가 다를까?
먼저 왜 이 시장이 존재하는지부터 그림으로 보겠습니다. 데이터가 흐르는 경로가 완전히 다릅니다.
GLM 계열, Llama, Qwen 같은 오픈웨이트 모델은 모델 가중치 파일을 통째로 배포합니다. 이걸 병원 지하 서버실의 GPU 한 대에 올려두면, 진료 기록 요약도 소송 판례 검색도 전부 인터넷 연결 없이 내부에서만 처리됩니다. 대행업자가 하는 일은 이 환경을 대신 세팅하고 관리해주는 것이죠.
비전공자도 가능한 5단계 실전 구축 가이드
"코딩도 모르는데 서버에 AI를 어떻게 올려요?" 다행히 지금은 도구들이 좋아져서, 명령어 몇 줄과 오픈소스 조합으로 충분합니다. 전체 흐름은 다음과 같습니다.
STEP 1. 요구사항·보안 진단
가장 먼저 고객사와 앉아 "어떤 데이터를 다루고, 어떤 반복 업무가 있는지" 정리합니다. 병원이라면 '진료 기록 요약·보험 청구 서류 초안', 법률사무소라면 '판례 검색·계약서 검토', 제조기업이라면 '설비 매뉴얼 질의응답'이 대표적입니다. 이 단계에서 절대 외부로 나가면 안 되는 데이터 목록을 확정합니다.
STEP 2. 서버·GPU 준비
거창한 데이터센터가 필요 없습니다. RTX 4090급 GPU 한 장을 꽂은 워크스테이션 한 대면 중소 규모 조직의 사내 AI를 충분히 돌립니다. 초기 하드웨어 비용은 300~500만원 선. 이 비용은 고객사가 부담하고, 대행업자는 세팅과 관리를 맡습니다.
초기에 하드웨어 투자가 부담스러운 고객사에는 '사내망에 격리된 온프레미스 서버 임대' 방식을 제안하면 계약 성사율이 올라갑니다.
STEP 3. 오픈웨이트 모델 설치
GLM-5.3 같은 오픈웨이트 모델을 Ollama나 vLLM 같은 도구로 내려받아 로컬에서 구동합니다. 명령어는 사실상 "모델 이름 지정해서 실행" 수준으로 단순해졌습니다. 여기에 Open WebUI를 붙이면 직원들은 챗GPT와 똑같은 화면에서 쓰되, 데이터는 사내에만 머뭅니다.
STEP 4. 사내 문서 연결 (RAG)
이게 진짜 돈이 되는 부분입니다. RAG는 AI가 회사 내부 문서를 검색해서 근거를 대며 답하게 만드는 기술입니다. 병원 내부 진료 지침, 법무법인의 과거 판례집, 공장의 설비 매뉴얼을 연결하면 "우리 회사만 아는 답"을 주는 AI가 됩니다. 범용 챗GPT는 절대 못 하는 일이죠.
STEP 5. 교육·월 관리 계약
구축이 끝이 아닙니다. 직원 사용 교육, 모델 업데이트, 문서 추가 연결, 장애 대응을 월 정액으로 맡습니다. 바로 이 지점에서 '월 100만원 반복 수익'이 나옵니다. 고객사 3곳만 확보해도 월 300만원, 5곳이면 월 500만원입니다.
수익 구조: 왜 '대행'이 답인가
일회성 구축비만 받으면 프로젝트가 끝나는 순간 수입도 끝납니다. 하지만 '구축비 + 월 관리비' 조합은 쌓이는 구조입니다. 병원·법률·제조는 한 번 도입하면 쉽게 바꾸지 않기에, 이탈률이 낮은 안정적 고객이 됩니다.
물론 첫 고객을 잡기까지가 가장 어렵습니다. 기술보다 '신뢰'가 관건이라, 실제 작동하는 데모 하나를 직접 만들어 보여주는 것이 계약의 8할을 결정합니다. 그래서 '내 손으로 한 번은 끝까지 구축해본 경험'이 무엇보다 중요합니다.
정리하며
"챗GPT에 회사 기밀 넣기 무섭다"는 그 불안이, 누군가에게는 월 100만원짜리 시장입니다. 오픈웨이트 LLM과 셀프호스팅은 더 이상 대기업 엔지니어의 전유물이 아닙니다. Ollama·Open WebUI·RAG 도구들이 문턱을 확 낮춰, 비전공자도 '작동하는 데모'를 만들 수 있는 시대가 됐습니다.
중요한 건 순서입니다. 직접 한 번 구축해보고 → 데모를 만들고 → 첫 고객을 잡는 것. 이 과정을 혼자 헤매지 않고 체계적으로 익히고 싶다면, TTJ(투더제이) 코딩클래스 정규반에서 오픈웨이트 AI 셀프호스팅부터 RAG 연결, 실제 고객 대행 모델까지 단계별로 함께 만들어봅니다. 비전공자가 '작동하는 결과물'을 손에 쥐고 나오는 것을 목표로 커리큘럼을 설계했습니다.
무섭다고 피할 것인가, 그 두려움을 대신 해결해주고 수익을 만들 것인가. 선택은 지금 여러분의 손에 있습니다.