노르웨이가 화웨이 플래시 2PB로 자국 LLM을 학습시키는 진짜 이유

무슨 일이 있었나

노르웨이가 자국 LLM(거대 언어 모델) 학습용으로 2페타바이트(PB)짜리 화웨이 플래시 스토리지를 도입했다는 소식이 나왔어요. 2페타바이트면 일반적인 1TB 하드디스크 2,000개에 해당하는 어마어마한 용량인데요, 더 흥미로운 건 이게 미국과 중국 사이 기술 전쟁 한복판에서 NATO 회원국인 노르웨이가 중국 화웨이의 인프라를 선택했다는 점이에요. 왜 이런 결정을 했을까요?

LLM 학습에 왜 이렇게 많은 스토리지가 필요할까

이 프로젝트는 노르웨이 국립 슈퍼컴퓨터 센터와 연관된 AI 연구 인프라의 일부예요. LLM을 학습시키려면 단순히 GPU만 많이 필요한 게 아니에요. 학습 데이터셋, 체크포인트(중간 저장된 모델 가중치), 로그, 임시 파일 같은 게 어마어마하게 쏟아지거든요. 예를 들어 학습 도중에 시스템이 꺼졌을 때 처음부터 다시 시작하지 않으려면 모델의 현재 상태를 통째로 디스크에 저장해놔야 하는데, 큰 모델은 체크포인트 하나가 수백 GB에서 TB 단위예요. 그게 학습 내내 수십, 수백 개가 쌓이는 거죠.

이런 워크로드에서는 단순히 용량만 크면 안 되고, 읽고 쓰는 속도(throughput)와 지연시간(latency)이 매우 중요해요. 화웨이의 OceanStor 시리즈 같은 올플래시(All-Flash) 스토리지는 NVMe SSD를 백엔드로 사용하면서 RDMA(원격 직접 메모리 접근) 기반 네트워크로 GPU 서버에 직접 연결되는 구조를 가지고 있어요. 이게 뭐냐면, CPU를 거치지 않고 GPU와 스토리지가 바로 통신해서 학습 파이프라인의 병목을 줄이는 기술이에요. 데이터 로딩이 느리면 비싼 GPU가 놀고 있으니까, 스토리지 속도가 결국 학습 비용을 결정하거든요.

기존에는 이 시장을 NetApp, Pure Storage, Dell EMC, IBM 같은 미국 회사들이 장악하고 있었는데, 화웨이가 가격 대비 성능으로 빠르게 치고 들어오고 있어요. 특히 미국 제재로 화웨이가 자사 칩을 자체 설계, 자체 생산하는 방향으로 가면서 종종 가격이 30~40% 저렴하다는 평가가 나와요.

지정학 관점에서 본다면

노르웨이의 선택이 흥미로운 건, 5G 네트워크 장비에서는 화웨이를 배제하면서 스토리지에서는 받아들였다는 점이에요. 통신 인프라처럼 도청 위험이 있는 영역과, 폐쇄망 안에서 사용하는 데이터센터 스토리지는 위협 모델이 다르다고 본 거죠. 게다가 유럽 입장에서는 LLM 학습을 미국 빅테크에 의존하는 것도 일종의 주권 문제라서, 그 대안을 찾는 흐름의 일환이기도 해요.

비슷한 움직임이 다른 나라에서도 보여요. 프랑스는 Mistral AI를 중심으로 자국 LLM 생태계를 키우고 있고, 독일은 Aleph Alpha를 지원하고 있어요. 영국은 BritGPT 같은 프로젝트를 논의 중이고요. 이들이 공통적으로 직면한 문제가 "GPU도 미국, 모델도 미국, 클라우드도 미국이면 우리는 뭘 하나"라는 거예요. 노르웨이의 화웨이 도입은 그 빈자리를 중국 기술로 메우는 한 가지 답을 보여주는 사례죠.

한국 개발자에게는

한국도 비슷한 고민을 하고 있어요. 네이버 하이퍼클로바X, LG의 엑사원, 카카오의 카나나 같은 자국 LLM이 학습되고 있는데, 그 인프라는 대부분 NVIDIA GPU와 미국 또는 한국산 스토리지를 씁니다. 만약 미중 관계가 더 악화돼서 첨단 GPU 수출이 추가로 제한된다면, 우리는 어떤 선택지를 갖게 될까요? 이런 "기술 주권" 이야기가 한국에서도 점점 더 자주 나올 거예요.

또 실무 관점에서는 LLM 학습 인프라가 어떻게 설계되는지 들여다볼 좋은 기회예요. GPU 메모리, 네트워크 대역폭, 스토리지 IOPS, 체크포인트 전략, 데이터 로딩 파이프라인 같은 요소들이 어떻게 맞물려야 하는지 이해하는 게, 앞으로 AI 엔지니어의 기본 소양이 될 거예요. ML 엔지니어를 꿈꾸는 분이라면 단순히 모델 코드뿐 아니라 분산 학습 인프라까지 공부해두면 좋아요.