> 참고: 이 글은 원문 전문을 직접 읽지 못한 채, 제목에 담긴 주장에 공개된 배경 지식을 더해 정리했어요. 측정 조건과 구체적인 수치는 MindStudio 원문에서 꼭 확인해 주세요.
같은 칩인데 OS에 따라 속도가 다르다면
로컬에서 LLM을 돌려보려고 노트북을 고르는 분이라면 귀가 솔깃할 소식이에요. 엔비디아 RTX Spark 노트북의 암호화된 펌웨어 때문에 리눅스에서 추론 속도가 35% 수준으로 떨어진다는 주장이 나왔거든요. 추론은 학습이 끝난 AI 모델을 실제로 돌려서 답을 얻는 과정을 말해요.
사실이라면 꽤 이상한 일이에요. AI 개발자 상당수가 리눅스를 쓰고, 엔비디아의 AI 개발 장비인 DGX Spark도 우분투 기반 DGX OS로 나왔으니까요.
다만 먼저 짚을 게 있어요. 35%가 정확히 무엇 대비 수치인지, 어떤 모델과 드라이버로 쟀는지는 제목만으로 알 수 없어요. 출처도 엔비디아 공식 문서가 아니라 서드파티 블로그고요. 그래서 이 글은 결론을 내리기보다, 이런 일이 왜 가능한지 배경을 풀어볼게요.
펌웨어, 서명, 암호화는 뭐가 다를까요
펌웨어는 하드웨어 안쪽에서 돌아가는 작은 프로그램이에요. 요즘 GPU는 전력 관리나 클럭 조절 같은 일을 GPU 안의 별도 프로세서가 펌웨어를 돌려서 처리하는 경우가 많아요.
여기서 서명과 암호화를 구분해야 해요. 서명은 편지 봉투에 찍힌 도장 같은 거예요. 내용은 읽을 수 있지만 위조 여부를 알 수 있죠. 암호화는 봉투 자체를 잠그는 거예요. 열쇠가 없으면 안에 뭐가 있는지 볼 수가 없어요. 펌웨어가 암호화돼 있다면 외부 개발자가 그 동작을 분석하기는 훨씬 어려워져요.
사실 비슷한 일이 처음은 아니에요. 엔비디아는 GTX 900 세대 일부부터 서명된 펌웨어만 GPU가 받아들이게 했는데, 그 여파로 오픈소스 드라이버 Nouveau는 GPU 클럭을 제대로 올리지 못했어요. 스포츠카를 샀는데 기어를 1단에서 못 올리는 상황이랄까요. 리눅스 사용자는 같은 그래픽카드로 훨씬 낮은 성능을 봐야 했어요.
이번 논란도 구조가 닮았을 수 있어요. 전력이나 클럭 관리가 특정 드라이버 경로에서만 제대로 풀린다면, 다른 OS에서는 같은 칩이 제 속도를 못 낼 수 있거든요. LLM이 토큰을 생성하는 단계는 메모리에서 모델 가중치를 얼마나 빨리 읽느냐에 크게 좌우돼서, 메모리 클럭이나 전력 설정 차이가 곧장 속도 차이로 나타나기 쉬워요. 물론 이건 가능한 시나리오일 뿐이고, 이번 경우의 실제 원인은 따로 확인이 필요해요.
경쟁 구도로 보면
엔비디아가 리눅스를 외면만 해온 건 아니에요. 2022년에 오픈소스 커널 모듈을 공개했고, 오픈소스 진영에서는 Rust로 작성 중인 커널 드라이버 Nova와 Mesa의 Vulkan 드라이버 NVK가 GSP(GPU 안의 보조 프로세서) 펌웨어를 활용하는 쪽으로 발전하고 있어요. 다만 이 흐름은 핵심 기능을 펌웨어 안으로 옮기는 방식이라, 드라이버가 열려도 펌웨어는 여전히 블랙박스로 남아요.
경쟁자들은 결이 달라요. AMD의 Strix Halo(Ryzen AI Max+ 395)는 최대 128GB 통합 메모리에 오픈소스 amdgpu 드라이버를 쓰지만 CUDA 생태계가 없다는 약점이 있어요. 애플 실리콘은 통합 메모리와 MLX가 강력해도 사실상 macOS 안에서 쓰게 되고요. 결국 CUDA 호환성, 오픈 드라이버의 투명성, 통합 메모리 용량 중 무엇을 우선할지 고르는 문제예요.
한국 개발자라면 이렇게 확인해보세요
망분리나 사내 보안 정책 때문에 로컬 LLM을 검토하는 팀이 국내에도 많아요. 장비를 들이기 전에 이렇게 해보길 권해요.
- 스펙표 대신 실측하기: 쓰려는 OS와 드라이버 조합에서 직접 돌려보세요. llama.cpp라면
./llama-bench -m model.gguf한 줄로 시작할 수 있어요. - 프롬프트 처리와 토큰 생성을 나눠서 재기: 둘은 병목이 달라서 한 숫자로 뭉뚱그리면 원인을 놓쳐요.
- 측정 중에 클럭과 전력 같이 보기:
nvidia-smi --query-gpu=clocks.sm,clocks.mem,power.draw --format=csv -l 1로 1초마다 값을 볼 수 있어요. 속도도 낮고 클럭도 낮다면 전력이나 펌웨어 쪽을 의심해볼 만해요. - 같은 조건으로 비교하기: 모델, 양자화, 컨텍스트 길이를 맞추지 않으면 비교가 의미 없어요.
마무리
한 줄로 정리하면, 로컬 AI 시대에는 칩 성능만큼 드라이버와 펌웨어가 얼마나 열려 있는지도 성능의 일부예요.
여러분이라면 로컬 LLM 장비를 고를 때 CUDA 호환성과 오픈 드라이버의 투명성 중 어느 쪽에 더 점수를 주겠어요? 리눅스에서 비슷한 성능 저하를 겪어본 분이 있다면 경험도 들려주세요.
🔗 출처: Hacker News