사진 몇 장으로 3D 공간을 만든다 — 가우시안 스플래팅 이야기

요즘 그래픽스에서 제일 뜨거운 기술

3D 공간을 컴퓨터로 표현하는 방법, 옛날엔 정해져 있었어요. 삼각형(폴리곤)을 잔뜩 이어 붙여서 물체 표면을 만들고, 거기에 텍스처를 입히는 방식이었죠. 게임이나 영화 CG가 다 이렇게 만들어졌어요. 그런데 몇 년 전부터 완전히 다른 접근이 그래픽스 학계를 뒤집어놨는데요, 그게 바로 가우시안 스플래팅(Gaussian Splatting)이에요. 이번 SIGGRAPH 2026에서도 이 계열의 연구가 다뤄지면서 다시 주목받고 있어요.

어떻게 동작하는 거예요?

쉽게 설명해볼게요. 어떤 장면을 여러 각도에서 사진 수십 장 찍었다고 해봐요. 가우시안 스플래팅은 이 사진들을 보고, 3D 공간 안에 수많은 작은 '얼룩'들을 흩뿌려요. 이 얼룩 하나하나를 3D 가우시안이라고 부르는데요, 가우시안이 뭐냐면 가운데가 진하고 가장자리로 갈수록 흐려지는 부드러운 타원형 점이라고 생각하시면 돼요. 스프레이로 물감을 뿌린 자국 같은 거죠.

각 얼룩은 위치, 크기, 방향, 색깔, 투명도 같은 정보를 갖고 있어요. 이런 얼룩을 수백만 개 적절히 배치하면, 멀리서 보면 마치 진짜 3D 장면처럼 보이는 거예요. 점묘화 아시죠? 가까이서 보면 점인데 멀리서 보면 그림이 되는. 그 원리를 3D로 옮긴 거라고 생각하면 딱 맞아요.

학습 과정은 이래요. 처음엔 얼룩을 대충 뿌려놓고, "이 각도에서 렌더링한 결과가 실제 사진이랑 얼마나 다른가"를 계속 비교하면서 얼룩들의 위치와 색을 조금씩 고쳐나가요. 이걸 수없이 반복하면 점점 실제 장면과 똑같아지는 거죠.

기존 방식이랑 뭐가 다른가

바로 앞에 NeRF(너프)라는 기술이 있었어요. NeRF는 장면 전체를 신경망 하나에 욱여넣어서, "이 위치 이 방향에서 보면 무슨 색?"을 물어보면 신경망이 계산해주는 방식이었죠. 결과는 환상적이었는데 치명적 단점이 있었어요. 너무 느렸어요. 한 장면 렌더링하는 데 한참 걸려서 실시간은 꿈도 못 꿨죠.

가우시안 스플래팅의 혁신이 바로 여기예요. 신경망을 거치지 않고 얼룩들을 화면에 직접 '래스터화(rasterize)'해서 그리거든요. 래스터화는 GPU가 원래 제일 잘하는 작업이라, 실시간으로, 그것도 초당 수십~수백 프레임으로 렌더링이 가능해졌어요. 화질은 NeRF급인데 속도는 게임처럼 빠른 거죠. 이게 학계와 산업계가 동시에 열광한 이유예요.

이번 SIGGRAPH 연구들은 이 기술의 약점을 다듬는 쪽이에요. 예를 들어 얼룩이 너무 많으면 메모리를 잡아먹는 문제, 빛 반사나 투명한 재질을 제대로 표현하기 어려운 문제, 겹쳐 그릴 때 순서를 정하는 정렬(sorting) 비용 문제 같은 걸 개선하는 거죠.

업계 맥락

이 기술이 왜 산업적으로 중요하냐면, 활용처가 어마어마하거든요. 부동산 매물을 3D로 둘러보는 서비스, 문화재나 건축물을 디지털로 보존하는 작업, VR·AR 콘텐츠, 영화 특수효과, 자율주행 차량의 주변 환경 재구성까지요. 구글, 엔비디아 같은 곳들이 다 뛰어들고 있고, 휴대폰으로 찍은 영상만으로 3D 모델을 뽑는 앱들도 속속 나오고 있어요. 폴리곤 모델링이라는 수십 년 묵은 방식에 진짜 강력한 대안이 등장한 셈이에요.

한국 개발자에게 주는 시사점

3D나 그래픽스가 내 분야가 아니어도 알아둘 가치가 있어요. 우선 진입 장벽이 생각보다 낮아요. 3DGS 관련 오픈소스 구현체가 많이 공개돼 있어서, GPU 한 장만 있으면 직접 장면을 만들어볼 수 있거든요. 커머스에서 상품을 3D로 보여주거나, 공간 기반 서비스를 기획하는 팀이라면 지금이 프로토타입 찍어볼 적기예요. 또 이 분야는 웹(WebGL/WebGPU)으로 옮기는 작업도 활발해서, 프런트엔드 개발자에게도 새로운 기회가 열리고 있어요.

마무리

한 줄로 정리하면, "사진 몇 장만 있으면 실시간으로 돌아가는 3D 공간을 만들 수 있는 시대가 왔고, 그 핵심이 가우시안 스플래팅이다"예요. 여러분 서비스에 3D 공간 캡처를 붙인다면 어디에 써보고 싶으세요? 폴리곤 모델링은 정말 이 기술에 자리를 내주게 될까요?