손가락 하나로 해보는 실험
손가락 하나를 눈앞에 세우고 왼쪽 눈과 오른쪽 눈을 번갈아 감아보세요. 손가락이 좌우로 폴짝폴짝 뛰는 것처럼 보이죠? 손가락을 멀리 둘수록 덜 움직이고요. 우리 뇌는 이 차이로 거리를 가늠하는데, 이걸 카메라 두 대로 흉내 내는 기술이 스테레오 비전(Stereo Vision)이에요.
최근 한 하드웨어 개발자가 '하드웨어 해커를 위한' 스테레오 비전 보드를 직접 만들고 그 과정을 공개했어요. 상용 깊이 카메라는 대부분 블랙박스처럼 쓰게 되어 있는데, 직접 뜯어보고 고칠 수 있는 보드가 나왔다는 건 메이커나 로보틱스 입문자에게 반가운 일이에요. 이 글에서는 이런 보드가 어떤 원리로 동작하고, 만들 때 무엇이 어려운지 같이 풀어볼게요.
원리: 사진 두 장에서 거리 뽑아내기
두 카메라가 일정한 간격(이걸 베이스라인이라고 해요)을 두고 같은 장면을 찍으면, 가까운 물체일수록 두 사진 속 위치 차이가 커요. 이 픽셀 단위 차이를 디스패리티(disparity, 시차)라고 부르고, 거리는 아주 간단한 식으로 구할 수 있어요.
거리 Z = 초점거리(픽셀) × 베이스라인 ÷ 디스패리티
예를 들어 초점거리가 700픽셀이고 베이스라인이 6cm인 카메라에서 디스패리티가 21픽셀이면 거리는 700 × 0.06 ÷ 21 = 2m예요. 디스패리티가 42픽셀이면 1m가 되고요.
여기에는 함정이 하나 있어요. 디스패리티가 1픽셀만 틀려도 2m 거리에서는 약 10cm 오차가 생기는데, 오차는 거리의 제곱에 비례해서 커져요. 그래서 스테레오 카메라는 가까운 거리에서는 정확하지만 멀어질수록 급격히 부정확해져요. 먼 거리를 잘 보려면 베이스라인을 넓혀야 하는데, 그러면 가까운 물체가 두 카메라에 함께 잡히지 않는 문제가 생기죠. 베이스라인을 몇 cm로 정하느냐가 그 보드의 용도를 결정하는 이유예요.
직접 만들 때 어려운 것들
원리는 간단한데 하드웨어로 구현하면 골치 아픈 부분이 꽤 많아요.
첫째는 동기화예요. 두 카메라가 정확히 같은 순간에 찍어야 하거든요. 움직이는 물체를 찍을 때 한쪽이 몇 밀리초만 늦어도 그 차이가 가짜 시차로 계산돼요. 그래서 하드웨어 트리거 신호로 두 센서를 동시에 찍게 만들고, 가능하면 화면 전체를 한 번에 찍는 글로벌 셔터 센서를 써요. 위에서 아래로 한 줄씩 찍는 롤링 셔터는 빠르게 움직이는 장면에서 상이 휘어지거든요.
둘째는 캘리브레이션이에요. 렌즈 왜곡과 두 카메라 사이의 미세한 각도 차이를 측정해서 보정해야 해요. 보정한 뒤 두 이미지의 같은 지점이 같은 높이에 오도록 맞추는 작업을 렉티피케이션(rectification)이라고 하는데, 이게 돼야 같은 가로줄 안에서만 짝을 찾으면 되니까 계산이 훨씬 쉬워져요. 보드가 조금만 휘거나 렌즈가 흔들려도 캘리브레이션이 깨지기 때문에 기구 설계도 중요하고요.
셋째는 연산이에요. 모든 픽셀마다 짝을 찾는 스테레오 매칭은 계산량이 커서, 실시간으로 돌리려면 FPGA나 NPU 같은 가속기를 쓰거나 영상을 PC로 넘겨서 처리해야 해요. 입문자라면 OpenCV의 cv2.StereoSGBM_create()로 디스패리티 맵을 뽑아보는 데서 시작하는 경우가 많아요.
업계 맥락
깊이 카메라 시장에는 이미 강자들이 있어요. Intel RealSense는 적외선 패턴을 쏴서 무늬 없는 벽에서도 깊이를 잡는 액티브 스테레오 방식으로 로봇 업계에서 표준처럼 쓰였어요. Luxonis의 OAK-D는 카메라 안에 AI 칩을 넣어 깊이 계산과 객체 인식을 기기 안에서 처리하고, Stereolabs의 ZED는 넓은 베이스라인 덕분에 실외나 먼 거리 용도로 많이 쓰여요. 스테레오 말고도 빛이 돌아오는 시간을 재는 ToF 센서, LiDAR, 카메라 한 대로 깊이를 추정하는 Depth Anything 같은 AI 모델도 있어요.
이런 제품들 사이에서 직접 만든 오픈 보드의 가치는 성능보다 투명성과 개조 가능성에 있어요. 회로와 펌웨어를 들여다보고, 센서를 바꾸고, 베이스라인을 용도에 맞게 조절할 수 있다는 거죠.
한국 개발자에게 주는 시사점
로봇, 드론, 스마트팩토리에 관심이 있다면 스테레오 비전은 꼭 한 번 직접 해볼 만해요. 처음이라면 거창한 보드 없이 같은 모델의 웹캠 두 대를 고정해두고 OpenCV로 캘리브레이션부터 해보세요. 체커보드 인쇄물 한 장이면 시작할 수 있어요. 직접 해보면 상용 제품이 왜 비싼지, 동기화와 캘리브레이션이 왜 중요한지 몸으로 이해하게 되고, 나중에 RealSense나 OAK-D 같은 제품을 쓸 때도 파라미터 하나하나가 무슨 뜻인지 보이기 시작해요.
마무리
한 줄 정리: 스테레오 비전은 사진 두 장의 차이라는 단순한 원리 위에 동기화, 캘리브레이션, 연산이라는 진짜 엔지니어링이 쌓인 기술이에요.
프로젝트에 깊이 정보가 필요하다면 스테레오, ToF, LiDAR, 단안 깊이 추정 중 무엇을 고르시겠어요? 깊이 카메라를 직접 만들어본 경험이 있다면 시행착오 이야기도 들려주세요.
🔗 출처: Hacker News