IBM의 아빈드 크리슈나 CEO가 3분기 실적 발표 콘퍼런스콜에서 오픈 웨이트(공개 가중치) 모델이 기업의 온프레미스 활용에 "훌륭하게 들어맞는 선택"이 됐다고 투자자들에게 말했다. 폐쇄형 최신 모델과 공개 모델의 성능 격차가 빠르게 좁혀지면서, 비용 대비 효용을 따지는 기업 입장에서 이제는 공개 모델을 외면하기 어려워졌다는 것이 그의 진단이다.
70 대 20에서 70 대 50으로
크리슈나는 2024년만 해도 폐쇄형 프런티어 모델이 공개 대안보다 명백히 우월했다고 설명했다. 좁은 범위가 아닌 폭넓은 벤치마크를 돌렸을 때 최상위 모델이 70점을 받는다면 공개 모델은 20~30점에 머물렀다는 것이다. 그러나 2025년 하반기 들어 이 격차가 줄기 시작해 70 대 50 수준으로 좁혀지는 모습이 관측됐다고 그는 전했다.
성능이 올라오는 동안 비용 구조는 크게 벌어졌다. 크리슈나에 따르면 현재 오픈 웨이트 모델의 토큰 비용은 프런티어 모델의 25%에서 10% 수준에 불과하다. 그는 "최고 모델의 90% 수준 효용을 내면서 비용은 10분의 1"이라는 점을 들어, 기업에게 이는 단순한 질문이 된다고 말했다. 10배 비싼 값을 치를 것인가, 아니면 90%의 성능을 10%의 비용으로 얻을 것인가 하는 선택이라는 설명이다.
그는 대다수 기업이 더 높은 비용을 감수하지 않는 쪽을 택할 것으로 봤다. 관건은 "얼마나 많은 업무가 최고 모델을 요구하느냐"인데, 일부는 그렇겠지만 이메일 요약, 계약서 검토, 고객 응대 전화 응답, 이메일 작성 같은 대다수 작업은 훨씬 저렴한 쪽으로도 충분히 처리할 수 있다는 것이다. 바꿔 말하면, 비용 민감도가 높고 범용적인 업무일수록 공개 모델로 무게추가 기울 수밖에 없다는 논리다.
랙 두세 개면 되지만, 돌리는 게 문제
크리슈나는 이런 계산이 온프레미스 AI 인프라 수요 급증으로 이어지고 있다고 말했다. 대부분의 기업이 쓸 만한 AI 인프라를 랙 두세 개 규모로 구축할 수 있다고 보면서도, 정작 이를 제대로 돌리는 단계에서 많은 곳이 어려움을 겪을 것이라고 짚었다. 그가 든 현실적인 난제는 분명하다. 커널 엔지니어는 어디 있는가, 하부 네트워크를 책임질 사람은 누구인가, 모델을 네트워크상 가까이 붙은 GPU에 클러스터링하고 결과를 적절히 캐싱해 빠른 응답을 보장할 역량은 있는가 하는 물음이다.
여기에 대한 그의 답은 구체적이지 않았다. IBM이 AI 배포를 쉽게 해주는 소프트웨어를 내놓겠다는 정도였다. 다만 그는 온프레미스 AI 수요가 IBM의 스파이어(Spyre) 메인프레임 가속기 카드 판매를 끌어올릴 것이라고 전망했다. 공개 모델 논의가 결국 자사 하드웨어·소프트웨어 판매 서사로 수렴한다는 점은 염두에 둘 필요가 있다. 이는 중립적 시장 분석이라기보다 자사 포트폴리오를 정당화하는 CEO의 메시지에 가깝다.
실적은 소프트웨어와 레드햇이 견인
이번 분기 실적을 보면 소프트웨어 부문이 돋보였다. 전년 대비 9% 성장한 78억 달러를 기록했고, 특히 레드햇이 11% 성장하며 연간 반복 매출(ARR)을 30% 끌어올렸다. 2024년 출시된 레드햇 가상화 제품군은 이미 8억 달러 규모 계약을 따냈고 7억 5천만 달러의 추가 파이프라인을 확보했는데, VMware 이탈 수요가 일부 흘러드는 것으로 IBM은 보고 있다. 반면 인프라 부문은 37억 달러로 5% 성장에 그쳐 델, HPE, 레노버 등 경쟁사보다 더딘 개선을 보였다. z17 메인프레임은 역대 어느 모델보다 10억 달러 많은 매출을 올렸고 랙형 중급 모델은 "근 20년 내 가장 강력한 출시"라는 평가를 받았지만, 출시 18개월이 지난 만큼 메인프레임 매출 자체는 예상대로 20% 감소했다. 전체 분기 매출은 5% 늘어난 171억 달러였고, 시간외 거래에서 주가는 소폭 하락했다.
한편 실적과 별개로 IBM 클라우드에서는 심각도 1등급 장애가 발생했다. "긴급 유지보수" 탓에 90분간 신규 자원과 VPC를 프로비저닝할 수 없었고, 2013년 소프트레이어 인수로 확보한 클래식 클라우드 사용자들은 신규 프로비저닝 복구가 현지시간 목요일 오전 8시(UTC)에나 완료될 것이라는 통보를 받았다. 최소 16시간에 달하는 장애다. 해당 작업이 PHP의 심각한 취약점 공개 몇 시간 뒤 시작됐다는 점에서 연관성 의혹이 제기됐으나, IBM은 아직 확인해주지 않았다.
정리하면 크리슈나의 발언은 "90% 성능을 10% 비용에"라는 단순한 셈법으로 공개 모델 채택을 설득하는 동시에, 그 전환의 걸림돌인 운영 복잡성을 자사 소프트웨어와 하드웨어로 메우겠다는 포석이다. 실무자 입장에서 눈여겨볼 지점은 모델 성능 비교 수치 그 자체보다, 벤치마크 점수와 토큰 단가만으로는 드러나지 않는 네트워크 근접성, 캐싱, 클러스터 운영 역량이 온프레미스 AI의 실제 성패를 가른다는 현실적 경고다.