무슨 일이 있었나요?
요즘 게임 그래픽 얘기할 때 빠지지 않는 단어가 DLSS잖아요. 엔비디아가 만든 AI 기반 그래픽 기술인데요. 최근 깃허브에 OpenDLSS-NR이라는 프로젝트가 올라왔어요. 저장소 소개에 따르면 엔비디아 DLSS 5의 뉴럴 렌더링(Neural Rendering) 네트워크를 Vulkan으로 다시 구현한 프로젝트예요.
이게 왜 흥미롭냐면, DLSS는 지금까지 엔비디아 GPU와 엔비디아 드라이버 안에서만 돌아가는 '블랙박스'였거든요. 그런데 그 핵심인 신경망을 특정 회사에 묶이지 않는 표준 그래픽 API 위에서 돌려보겠다는 거예요. 그래서 그래픽스 개발자는 물론이고 AI 추론 최적화에 관심 있는 분들도 한 번쯤 들여다볼 만해요.
잠깐, DLSS가 뭐였더라?
DLSS는 Deep Learning Super Sampling의 약자예요. 처음 나온 아이디어는 단순했어요. 게임을 낮은 해상도(예: 1080p)로 그린 다음 AI가 이걸 4K처럼 보이게 키워주는 거죠. 처음부터 4K로 그리는 것보다 훨씬 가벼우니까 프레임이 쭉 올라가요.
버전이 올라가면서 하는 일도 계속 늘어났어요. 프레임과 프레임 사이에 AI가 새 프레임을 만들어 끼워 넣는 '프레임 생성'이 붙었고, 레이 트레이싱 화면에 생기는 지글지글한 노이즈를 AI가 정리해주는 기능도 들어왔죠. 그리고 DLSS 5에서는 뉴럴 렌더링이 전면에 나왔어요. 해상도를 올리는 데서 그치지 않고, 신경망이 조명과 재질 표현까지 더 사실적으로 다듬는 단계로 들어온 거예요.
비유하자면 이래요. 예전 DLSS가 '흐릿한 사진을 선명하게 만들어주는 보정 앱'이었다면, 뉴럴 렌더링은 '사진의 빛과 질감까지 다시 칠해주는 리터칭 작가'에 가까워요. 그래서 게이머들 사이에서는 '원래 아트 디자인이 바뀌는 거 아니냐'는 우려도 나왔고요.
Vulkan으로 재구현한다는 건 무슨 의미일까?
Vulkan은 크로노스 그룹이 관리하는 저수준 그래픽·컴퓨트 API예요. 엔비디아, AMD, 인텔 GPU에서 다 돌아가고, 리눅스와 안드로이드에서도 쓸 수 있어요. DirectX가 윈도우 중심이라면 Vulkan은 '어디서든 통하는 표준'에 가깝다고 보면 돼요.
GPU에서 신경망을 돌린다고 하면 보통 CUDA나 TensorRT부터 떠올리잖아요. 그런데 게임 렌더링 안에서는 사정이 달라요. 60fps 기준으로 한 프레임을 약 16ms 안에 끝내야 하는데, 렌더링 결과물(색상, 깊이, 모션 벡터 등)은 이미 그래픽 API 쪽 메모리에 올라가 있거든요. 이걸 다른 런타임으로 넘겼다가 다시 받아오면 동기화 비용이 들어요. 그래서 신경망 추론을 아예 컴퓨트 셰이더로 짜서 렌더링 파이프라인 안에서 바로 돌리는 방식이 매력적인 거예요.
개념적인 흐름은 대략 이래요.
1. 게임 엔진이 낮은 해상도로 장면을 그리고, 색상·깊이·모션 벡터 같은 중간 데이터를 버퍼에 남겨요.
2. Vulkan 컴퓨트 셰이더가 이 버퍼를 입력으로 받아 신경망 레이어를 차례로 계산해요. 결국 행렬 곱셈과 활성화 함수를 반복하는 거예요.
3. 계산 결과가 최종 프레임이 되어 화면에 나가요.
성능은 행렬 곱셈을 얼마나 빨리 하느냐에 달려 있어요. 최신 GPU에는 텐서 코어 같은 전용 연산 유닛이 있는데, Vulkan에서도 VK_KHR_cooperative_matrix 같은 확장을 쓰면 셰이더에서 이 유닛을 활용할 수 있어요. 이게 뭐냐면, GPU 스레드 여러 개가 '팀을 짜서' 작은 행렬 블록을 한 번에 곱하게 해주는 기능이에요. 혼자 하던 계산을 조별 과제로 바꾼 셈이죠.
저장소 볼 때 꼭 확인할 포인트
'재구현'은 꽤 넓은 의미로 쓰이는 말이라서, README와 코드를 보면서 몇 가지는 직접 확인해 보세요.
- 가중치를 어디서 가져왔는지: 엔비디아가 학습시킨 모델을 추출해서 쓴 건지, 구조만 참고해서 직접 학습한 건지에 따라 의미가 완전히 달라져요. 전자라면 라이선스 문제가 걸릴 수 있고, 후자라면 원본과 품질이 얼마나 비슷한지가 관건이에요.
- 실시간 성능: 엔비디아는 드라이버 수준에서 자기 하드웨어에 딱 맞춘 최적화를 해요. 오픈소스 구현이 프레임당 몇 ms 수준을 지킬 수 있는지는 따로 따져봐야 해요.
- 지원 GPU: Vulkan이라고 해서 모든 GPU에서 똑같이 빠르지는 않아요. 행렬 가속 확장을 지원하느냐에 따라 체감 성능이 크게 달라질 수 있어요.
업계 흐름 속에서 보면
업스케일링 시장은 이미 엔비디아 DLSS, AMD FSR, 인텔 XeSS가 경쟁하고 있어요. 재밌는 건 세 회사가 같은 방향으로 가고 있다는 점이에요. AMD는 FSR 1~3을 오픈소스로 공개해 왔는데, FSR 4부터는 머신러닝 기반으로 넘어갔어요. 'AI가 렌더링의 일부가 된다'는 데는 다들 동의하고, 그걸 얼마나 공개하느냐만 다른 셈이죠.
표준 API 쪽도 움직이고 있어요. 마이크로소프트는 셰이더 안에서 작은 신경망을 돌리기 위한 'Cooperative Vectors' 기능을 DirectX에 도입했고, 엔비디아는 RTX Neural Shaders를 밀고 있어요. 이런 흐름에서 보면 OpenDLSS는 '벤더의 블랙박스를 열어서 표준 API로 옮겨보는' 커뮤니티 실험이에요. DXVK와 Proton이 DirectX 게임을 Vulkan 위에서 돌리면서 리눅스 게이밍을 키운 것과 비슷한 시도죠.
한국 개발자에게 주는 시사점
게임 엔진이나 그래픽스 쪽 개발자라면, 뉴럴 렌더링이 실제 파이프라인 어디에 어떻게 들어가는지 코드로 볼 수 있는 드문 자료예요.
AI 엔지니어에게도 의미가 있어요. PyTorch나 TensorRT 없이 추론을 최적화하는 방법을 고민해볼 기회니까요. ncnn이나 llama.cpp의 Vulkan 백엔드처럼 Vulkan은 이미 모바일·온디바이스 AI에서도 쓰이고 있어요. 셰이더로 신경망을 한 번 직접 짜보면 GPU 메모리 구조와 병렬 처리가 훨씬 잘 이해될 거예요.
다만 상용 프로젝트에 바로 가져다 쓰는 건 신중하게 판단하세요. 라이선스와 유지보수 상태를 먼저 확인하고, 당분간은 '공부용 레퍼런스'로 보는 게 안전해요.
마무리
한줄 정리: AI가 렌더링 파이프라인의 정식 구성 요소가 되어가는 지금, OpenDLSS는 그 블랙박스를 표준 API 위에서 열어보려는 흥미로운 실험이에요.
여러분은 뉴럴 렌더링이 게임의 아트 디렉션을 해치는 '필터'라고 보시나요, 아니면 새로운 표현 도구라고 보시나요? 그리고 이런 AI 렌더링 기술이 언젠가 특정 회사의 기술이 아니라 표준으로 자리 잡을 수 있을까요? 댓글로 생각 나눠주세요!
🔗 출처: Hacker News