[심층분석] SLAM 없이 걸으면서 3D 지도를 만든다? 스트리밍 3D 복원의 판을 바꾸는 LingBot-Map

들어가며: 카메라 하나로 세상을 3D로 담는다는 오랜 꿈

스마트폰 카메라로 방 안을 한 바퀴 쭉 찍었을 뿐인데, 그 영상이 실시간으로 3D 공간 데이터가 된다면 어떨까요? 로보틱스, 자율주행, AR 업계가 수십 년간 매달려온 숙제가 바로 이거거든요. 전통적으로는 SfM(Structure from Motion)이나 SLAM 같은 기법을 썼는데요. 이게 뭐냐면, 여러 장의 사진에서 같은 지점을 찾아 짝을 맞추고, 카메라가 어디서 찍었는지를 수학적으로 역산해서 3D 구조를 복원하는 방식이에요. 문제는 이 과정이 거대한 퍼즐 맞추기라는 점이에요. 정확하긴 한데 계산이 엄청나게 오래 걸리고, 특징점이 없는 흰 벽이나 유리 앞에서는 속수무책이었죠.

그런데 2024년 DUSt3R라는 모델이 나오면서 흐름이 바뀌었어요. "기하학 계산을 신경망이 통째로 학습하면 되지 않아?"라는 접근인데, 사진 두 장을 넣으면 3D 포인트가 바로 튀어나오는 방식이었죠. 이후 업계는 이걸 '한 장 vs 두 장'이 아니라 '끝없이 흘러들어오는 영상'에 적용하는 경쟁으로 넘어갔고요. 오늘 소개할 Robbyant 팀의 LingBot-Map은 바로 그 경쟁의 최전선에 있는 스트리밍 3D 파운데이션 모델이에요.

LingBot-Map이 뭐길래: "찍으면서 바로 만드는" 3D 지도

LingBot-Map의 정체를 한 줄로 요약하면 피드포워드(feed-forward) 방식의 스트리밍 3D 복원 모델이에요. 피드포워드가 뭐냐면, 결과를 얻기 위해 반복 계산으로 오차를 조금씩 줄여가는 게 아니라, 신경망을 한 번 통과시키면 바로 답이 나오는 구조라는 뜻이에요. 비유하자면 기존 방식은 측량사가 줄자 들고 방을 수십 번 재면서 도면을 그리는 거고, 피드포워드는 숙련된 인테리어 업자가 방을 슥 둘러보고 "여기 33평이네요" 하고 바로 감을 잡는 거예요. 수많은 공간을 학습했기 때문에 가능한 거죠.

스펙이 꽤 인상적인데요. 518×378 해상도 기준 약 20 FPS로 추론하면서, 1만 프레임이 넘는 긴 영상도 안정적으로 처리해요. 공개된 데모 중에는 약 2만 5천 프레임, 그러니까 13분짜리 실내 워크스루 영상을 통째로 복원한 사례도 있어요. 기존 스트리밍 모델들이 몇백~몇천 프레임에서 메모리가 터지거나 정확도가 무너지던 걸 생각하면 체급이 다른 거예요.

핵심 기술: Geometric Context Transformer 뜯어보기

이 모델의 심장은 GCT(Geometric Context Transformer)라는 아키텍처예요. 긴 영상을 스트리밍으로 처리할 때 생기는 세 가지 고질병을 하나의 트랜스포머 안에서 해결하겠다는 설계 철학인데요.

• 앵커 컨텍스트(anchor context): 좌표계의 기준점을 잡아주는 장치예요. 스트리밍 복원에서는 "어디를 원점으로 삼을 것인가"가 흔들리면 전체 지도가 뒤틀리거든요. 등산할 때 봉우리 하나를 기준 삼아 방향을 잡는 것과 같아요.
• 포즈 레퍼런스 윈도우(pose-reference window): 카메라의 현재 위치와 자세를 추정할 때 최근 프레임들을 참조 창으로 유지해요. 방금 지나온 길을 짧게 되짚어보며 현재 위치를 보정하는 거죠.
• 트래젝토리 메모리(trajectory memory): 장거리 드리프트(drift)를 잡는 핵심이에요. 드리프트가 뭐냐면, 프레임마다 생기는 아주 작은 오차가 수천 프레임 누적되면서 지도가 서서히 어긋나는 현상이에요. 눈 감고 직진한다고 걸었는데 100미터 뒤엔 옆 차선에 가 있는 것과 같은 거죠. 지나온 궤적 전체를 기억해뒀다가 오차를 되돌려 잡는 역할을 해요.

그리고 엔지니어링 관점에서 정말 흥미로운 포인트가 하나 있는데요. 바로 페이지드 KV 캐시(paged KV cache) 어텐션이에요. 이거 어디서 들어본 것 같지 않나요? 맞아요, vLLM 같은 LLM 서빙 엔진에서 긴 대화 컨텍스트를 효율적으로 관리하려고 쓰는 바로 그 기술이에요. 어텐션의 기억 저장소를 통짜 메모리가 아니라 책 페이지처럼 잘게 나눠 관리해서, 필요 없는 부분은 버리고 필요한 부분만 유지하는 방식이죠. LLM 인프라에서 검증된 기술을 3D 비전 모델에 이식해서 "1만 프레임 스트리밍"이라는 스케일을 뚫어낸 거예요. FlashInfer 백엔드를 권장하고, 최근에는 SDPA 백엔드의 KV 캐시 버그도 고쳐서 긴 시퀀스 성능을 끌어올렸다고 해요.

업계 맥락: 기존 접근법들과 뭐가 다른가

지금 3D 복원 판을 크게 나누면 세 진영이에요.

1. 최적화 기반(COLMAP 등): 사진을 다 모아놓고 오랜 시간 계산하는 방식이에요. 정확도는 최고지만 실시간은 꿈도 못 꾸고, 영상 한 편에 몇 시간씩 걸리기도 해요. 장인이 한 땀 한 땀 만드는 수제화 같은 느낌이죠.
2. 전통 SLAM: 실시간은 되는데, 특징점이 부족한 환경에서 잘 깨지고 카메라 캘리브레이션이나 파라미터 튜닝이 까다로워요. 성능 좋은 기성화인데 발에 맞추려면 손이 많이 가는 셈이에요.
3. 학습 기반 피드포워드(DUSt3R, MASt3R, CUT3R 계열): 신경망이 기하학을 통째로 학습해서 즉시 결과를 내요. 다만 DUSt3R 계열은 이미지 쌍 단위라 긴 영상으로 확장하면 계산량이 폭발하고, CUT3R 같은 스트리밍 모델은 메모리 구조의 한계로 긴 시퀀스에서 드리프트가 쌓이는 약점이 있었어요.

LingBot-Map은 3번 진영에 속하면서 그 약점을 정면으로 공략한 케이스예요. 벤치마크도 자율주행의 고전인 KITTI와 대규모 야외 스캔 데이터셋인 Oxford Spires로 공개했는데, 스트리밍 방식은 물론 최적화 기반 방식과 비교해도 우위라고 주장해요. 평가 스크립트를 통째로 공개했으니 직접 검증해볼 수 있다는 점도 신뢰를 더해주고요. 참고로 Robbyant는 앤트그룹 산하의 로보틱스 조직으로 알려져 있는데, 로봇 회사가 이런 모델을 공개했다는 것 자체가 "로봇의 눈"을 자체 기술로 확보하려는 흐름을 보여주는 대목이에요.

한국 개발자에게 주는 시사점

생각보다 우리 실무와 가까운 기술이에요. 구체적인 시나리오를 들어볼게요.

• 로보틱스/자율주행: 서빙 로봇이나 물류 로봇이 라이다 없이 카메라만으로 매장 지도를 만드는 시나리오에 바로 닿아 있어요. 라이다 대비 센서 비용을 크게 줄일 수 있죠.
• 건설/부동산 프롭테크: 아파트 내부를 폰으로 한 바퀴 찍어서 3D 투어나 디지털 트윈을 만드는 파이프라인이 훨씬 가벼워져요. 13분 워크스루를 통째로 복원한 데모가 정확히 이 시나리오거든요.
• 드론 측량/AR: 현장에서 찍은 스트리밍 영상으로 즉석 지형 복원이 가능해지면, 후처리 대기 시간이 사라져요.

학습 로드맵을 제안하자면 이래요. 먼저 카메라 기하학의 기초(핀홀 모델, 카메라 포즈)를 잡고, DUSt3R 논문으로 피드포워드 3D 복원의 발상을 이해한 다음, LingBot-Map의 논문과 코드로 스트리밍 확장 기법을 파고드는 순서예요. LLM 쪽 경험이 있다면 KV 캐시 관리 부분이 오히려 익숙하게 느껴질 거예요.

마무리: "3D 파운데이션 모델"의 시대가 온다

LingBot-Map이 보여주는 건 두 가지예요. 첫째, 3D 복원이 정교한 수작업 파이프라인에서 거대 모델 한 방으로 넘어가는 전환이 실시간 스트리밍 영역까지 도달했다는 것. 둘째, LLM 서빙에서 갈고닦은 인프라 기술이 비전 모델로 흘러들어오면서 도메인 간 경계가 허물어지고 있다는 것이에요. 언어 모델이 GPT 이후 걸어온 길을 3D 비전이 압축적으로 따라가고 있는 셈이죠.

여러분은 어떠세요? 카메라만으로 실시간 3D 지도가 만들어지는 세상에서, 라이다 같은 전용 센서는 어떤 역할로 남게 될까요? 그리고 여러분의 서비스에 "공간을 이해하는 눈"이 생긴다면 가장 먼저 뭘 만들어보고 싶으신가요? 댓글로 이야기 나눠봐요.