무슨 일이 있었나요?
IBM CEO가 꽤 인상적인 말을 했어요. 오픈 웨이트(open-weight) 모델이 이제 “거부하기 힘들 만큼” 성능이 좋아졌고, 회사 안에 있는 서버(온프렘)에서 돌려도 충분히 싸다는 거예요. 몇 년 전만 해도 “쓸 만한 AI를 쓰려면 결국 OpenAI나 구글 API를 불러야 한다”는 게 상식이었거든요. 그런데 100년 넘게 기업 IT를 해온 회사의 수장이 공개적으로 반대쪽 이야기를 한 셈이죠.
이게 왜 중요하냐면, IBM은 스타트업이 아니라 은행, 보험사, 정부 기관처럼 보수적인 고객을 상대하는 회사예요. 이런 고객들이 실제로 어디에 돈을 쓰는지 가장 가까이에서 보는 곳이 IBM이고요. 그래서 이 발언은 개인 의견이라기보다 엔터프라이즈 시장의 분위기가 바뀌고 있다는 신호로 읽을 수 있어요.
먼저 용어부터 정리할게요
오픈 웨이트가 뭐냐면, 모델의 '가중치(weight)' 파일을 공개한 모델을 말해요. 가중치는 AI가 학습하면서 얻은 지식을 숫자로 저장해 둔 거대한 파일이라고 생각하면 돼요. 이 파일만 있으면 누구나 내려받아서 자기 장비로 모델을 돌릴 수 있죠. 다만 학습 데이터나 학습 코드까지 다 공개하는 건 아니라서, 엄밀한 의미의 '오픈 소스'와 구분해서 '오픈 웨이트'라고 부르는 경우가 많아요. 요리로 치면 완성된 소스는 나눠주는데 레시피랑 재료 출처까지 알려주지는 않는 느낌이에요.
온프렘(on-premises)은 클라우드가 아니라 회사가 직접 소유하거나 관리하는 서버에서 소프트웨어를 돌리는 방식이에요. 데이터가 회사 밖으로 나가지 않는다는 게 가장 큰 장점이죠.
왜 '지금' 이런 말이 나왔을까요?
첫째는 성능 격차가 많이 줄었기 때문이에요. Meta의 Llama, 알리바바의 Qwen, DeepSeek, Mistral, 구글의 Gemma, 그리고 OpenAI의 gpt-oss까지 쓸 만한 오픈 웨이트 모델이 쏟아졌어요. 최상위 상용 모델과 비교하면 아직 차이는 있어요. 그래도 사내 문서 요약, 고객 문의 분류, 코드 보조처럼 기업이 실제로 많이 하는 업무에는 “이 정도면 충분하다” 싶은 수준이 됐어요.
둘째는 돌리는 비용이 내려갔기 때문이에요. 여기엔 여러 기술이 함께 작용해요. 양자화(quantization)는 모델 안 숫자의 정밀도를 낮춰서 용량을 줄이는 기술이에요. 고해상도 사진을 화질 손실이 거의 없게 압축하는 것과 비슷하죠. MoE(Mixture of Experts)는 모델 안에 여러 '전문가'를 두고 질문마다 일부만 골라 계산하는 구조예요. 그래서 전체 크기에 비해 실제 연산량이 훨씬 적어요. 여기에 vLLM, SGLang 같은 추론 서버가 여러 요청을 묶어서 GPU를 알뜰하게 쓰게 해주면서, 같은 장비로 처리할 수 있는 양이 크게 늘었어요.
셋째는 비용을 예측할 수 있다는 점이에요. API는 쓴 만큼 내는 종량제라서 사용량이 폭증하면 청구서도 같이 폭증해요. 온프렘은 GPU 서버를 사는 초기 투자가 크지만, 일단 갖추고 나면 많이 쓸수록 토큰당 비용이 내려가요. 전 직원이 매일 AI를 쓰는 단계가 되면 계산이 뒤집히기 시작하는 거죠.
IBM의 속사정도 같이 봐야 해요
물론 IBM이 이런 말을 하는 데는 사업적인 이유도 있어요. IBM은 자체 오픈 웨이트 모델인 Granite 시리즈를 Apache 2.0 라이선스로 공개해 왔고, 2019년에 인수한 Red Hat을 앞세워 '하이브리드 클라우드'를 핵심 전략으로 밀고 있어요. 그러니까 “모델은 공개된 걸 쓰고, 그걸 고객 데이터센터에서 안정적으로 돌리는 플랫폼과 서비스는 우리가 팔겠다”는 그림이에요. 최고 성능 모델 경쟁에서 OpenAI, Anthropic, 구글을 이기기는 어려우니까, 경쟁의 축을 '모델 성능'에서 '운영과 통제'로 옮기려는 거죠.
그래서 이 발언은 어느 정도 걸러 들을 필요가 있어요. 그렇다고 해도 오픈 웨이트 모델의 품질과 비용 효율이 올라간 건 업계 전반에서 확인되는 흐름이에요.
한국 개발자에게 주는 시사점
한국은 특히 이 흐름과 잘 맞는 환경이에요. 금융권이나 공공기관은 망분리와 개인정보 규제 때문에 외부 API를 마음대로 쓰기 어려운 경우가 많거든요. 이런 곳에서는 '데이터를 밖으로 보내지 않는 AI'가 있으면 좋은 정도가 아니라 꼭 있어야 하는 거예요. LG의 EXAONE, 업스테이지의 Solar, 네이버의 HyperCLOVA X SEED, 카카오의 Kanana처럼 한국어에 강한 오픈 모델도 늘고 있어서 선택지가 점점 넓어지고 있어요.
당장 해볼 수 있는 건 이런 것들이에요.
- 로컬에서 먼저 써보기: Ollama나 llama.cpp로 노트북에서 작은 모델을 돌려보면 감이 확 와요.
- 우리 업무로 직접 평가하기: 벤치마크 점수보다 실제 사내 데이터 몇백 건으로 상용 API와 나란히 비교하는 게 훨씬 정확해요.
- 총소유비용(TCO) 계산하기: GPU 가격만 보지 말고 전기료, 운영 인력, 장비 활용률까지 넣어야 해요. GPU가 하루 대부분 놀고 있다면 오히려 API가 더 쌀 수도 있어요.
마무리
한 줄 정리: 기업 AI 경쟁의 초점이 '누가 제일 똑똑한 모델을 갖고 있나'에서 '누가 쓸 만한 모델을 가장 싸고 안전하게 운영하나'로 옮겨가고 있어요.
여러분 회사라면 어느 쪽을 고르실 것 같나요? 최고 성능의 상용 API를 계속 쓰는 쪽인가요, 아니면 조금 덜 똑똑해도 데이터를 안에 두는 오픈 웨이트 모델 쪽인가요? 사내에 직접 도입해 보신 분이 있다면 경험을 나눠주세요!
🔗 출처: Hacker News