영상·음성을 GPU로 바로 텐서로 — Meta의 TorchCodec 0.14, 이제 HDR까지 디코딩

AI 학습의 숨은 병목, 데이터 디코딩

요즘 영상이나 음성을 다루는 AI 모델 많이들 만드시죠. 그런데 모델 학습할 때 의외로 발목 잡는 게 GPU 연산이 아니라 데이터를 불러오는 단계예요. mp4 영상 파일을 모델이 먹을 수 있는 숫자 덩어리(텐서)로 바꾸는 디코딩 과정이 느리면, 비싼 GPU가 데이터를 기다리며 놀게 되거든요. 마치 요리사는 빠른데 재료 손질이 느려서 주방 전체가 멈추는 상황이랑 비슷해요.

Meta(메타)가 만든 TorchCodec(토치코덱)은 바로 이 문제를 풀려고 나온 PyTorch용 라이브러리예요. 영상·음성을 곧바로 PyTorch 텐서로 디코딩해주는 도구인데, 이번에 0.14 버전이 나오면서 꽤 의미 있는 기능들이 추가됐어요.

TorchCodec이 뭐가 다른가

이게 뭐냐면, 원래 영상을 다루려면 OpenCV나 FFmpeg를 따로 불러서 프레임을 뽑고, 그걸 다시 NumPy 배열로 바꾸고, 또 텐서로 옮기는 여러 단계를 거쳐야 했어요. 중간에 데이터가 CPU 메모리와 GPU 메모리 사이를 왔다 갔다 하면서 시간을 잡아먹었죠.

TorchCodec은 내부적으로 FFmpeg를 쓰면서도 이 과정을 매끄럽게 이어붙여서, 영상 파일에서 곧장 PyTorch 텐서가 튀어나오게 만들어요. 특히 강력한 건 CUDA 디코딩 지원이에요. 이게 뭐냐면, 엔비디아 GPU에는 NVDEC이라는 영상 디코딩 전용 하드웨어가 따로 박혀 있는데, TorchCodec이 이걸 활용해서 영상을 GPU 위에서 바로 풀어버려요. 그러면 CPU에서 디코딩한 뒤 GPU로 복사하는 단계가 통째로 사라지니까 훨씬 빠르죠.

0.14에서 새로 생긴 것들

이번 버전의 핵심은 HDR 영상 디코딩 지원이에요. HDR(High Dynamic Range, 하이 다이내믹 레인지)이 뭐냐면, 우리가 흔히 보던 영상은 색을 채널당 8비트(256단계)로 표현했는데, HDR은 10비트 이상으로 훨씬 넓은 밝기와 색 범위를 담아요. 어두운 그림자부터 눈부신 하이라이트까지 자연스럽게 표현되는 거죠. 그동안 AI 학습 파이프라인에서 이런 HDR 영상을 정확히 다루기가 까다로웠는데, 이제 CPU와 CUDA 양쪽에서 HDR을 제대로 디코딩할 수 있게 됐어요. 영상 화질 복원이나 영화·방송용 AI 모델을 다루는 분들에겐 반가운 소식이에요.

또 하나는 빠른 WAV 오디오 디코더예요. WAV는 압축 안 된 원본 음성 포맷이라 음성 인식이나 음악 생성 모델 학습에 많이 쓰이는데, 기존 방식보다 훨씬 빠르게 읽어들이도록 최적화됐어요. 오디오 데이터셋이 큰 프로젝트라면 로딩 시간이 눈에 띄게 줄어들 거예요.

업계 맥락에서 보면

비슷한 도구로는 엔비디아의 DALI가 있어요. DALI도 GPU 기반 데이터 로딩으로 유명하지만, 좀 더 무겁고 설정이 복잡한 편이에요. 반면 TorchCodec은 PyTorch 생태계에 딱 맞물려서 torch.Tensor로 자연스럽게 흘러가는 게 강점이죠. 전통적으로 많이 쓰던 OpenCV나 decord 같은 라이브러리는 GPU 가속이나 PyTorch 통합 면에서 한계가 있었고요. 멀티모달 AI(영상+음성+텍스트를 함께 다루는 모델)가 대세가 되면서, 이렇게 '데이터를 빠르게 텐서로 바꿔주는' 인프라의 중요성이 점점 커지고 있어요.

한국 개발자에게 주는 시사점

영상이나 음성 기반 AI를 다룬다면 한번쯤 도입을 검토해볼 만해요. 특히 GPU 사용률이 100%를 못 찍고 자꾸 떨어진다면, 데이터 로딩이 병목일 가능성이 높은데 TorchCodec의 CUDA 디코딩으로 해결될 수 있거든요. 다만 아직 0.x 버전이라 API가 바뀔 수 있으니, 핵심 프로덕션보다는 실험·연구 파이프라인에 먼저 적용해보는 걸 추천해요. GPU 클라우드 비용이 부담되는 국내 스타트업이라면, 디코딩 병목만 풀어도 같은 GPU로 학습 처리량을 꽤 끌어올릴 수 있다는 점도 매력적이죠.