Gemini의 네이티브 비디오 임베딩을 활용한 1초 이내 영상 검색, SentrySearch

영상 속 장면을 텍스트로 찾는 시대

영상 콘텐츠가 넘쳐나는 시대에 가장 불편한 것 중 하나가 뭘까요? 바로 "그 장면이 어디 있었더라?"를 찾는 거예요. CCTV 영상에서 특정 상황을 찾거나, 긴 강의 영상에서 원하는 부분을 찾으려면 사람이 직접 영상을 돌려봐야 했죠. SentrySearch는 이 문제를 Google의 Gemini API가 새로 지원하는 네이티브 비디오 임베딩 기능을 활용해서 해결하려는 프로젝트예요.

네이티브 비디오 임베딩이 뭔가요?

먼저 "임베딩(embedding)"이라는 개념부터 짚고 넘어갈게요. 임베딩은 텍스트든 이미지든 영상이든, 어떤 콘텐츠의 의미를 숫자 벡터(쉽게 말해 숫자들의 나열)로 바꾸는 거예요. 예를 들어 "고양이가 소파에서 자고 있다"라는 문장과, 실제로 고양이가 소파에서 자는 영상은 비슷한 숫자 벡터를 갖게 되는 거죠. 이 벡터들 사이의 거리를 계산하면 "이 영상이 이 텍스트와 얼마나 관련 있는가"를 수치로 알 수 있어요.

그동안 영상 검색을 하려면 영상을 프레임 단위로 잘라서 이미지로 변환하고, 각 이미지에 대해 개별적으로 임베딩을 만들어야 했어요. 시간도 오래 걸리고, 영상의 흐름이나 맥락 정보가 손실되는 문제도 있었죠. Gemini의 네이티브 비디오 임베딩은 영상을 통째로 입력받아서 시간 축의 의미까지 포함한 임베딩을 생성해줘요. 프레임 단위 처리가 아니라 영상 자체를 이해하는 방식이라 훨씬 빠르고 정확해요.

SentrySearch의 동작 방식

SentrySearch의 워크플로우는 크게 두 단계로 나뉘어요.

첫 번째는 인덱싱 단계예요. 감시 카메라 영상이나 어떤 비디오 파일을 업로드하면, Gemini API를 통해 영상의 임베딩 벡터를 생성해요. 이 벡터들은 벡터 데이터베이스에 저장되는데, 타임스탬프 정보와 함께 저장되기 때문에 나중에 "몇 분 몇 초 지점"까지 찾아낼 수 있어요.

두 번째는 검색 단계예요. 사용자가 자연어로 "빨간 차가 주차장에 들어오는 장면"이라고 입력하면, 이 텍스트도 임베딩 벡터로 변환돼요. 그리고 미리 저장해둔 영상 임베딩들과 유사도를 비교해서, 가장 관련 있는 영상 구간을 1초 이내에 찾아서 보여주는 거예요.

이게 인상적인 이유는 속도예요. 기존에 영상 검색이라고 하면 분 단위의 처리 시간이 걸리는 게 보통이었거든요. 프레임을 추출하고, 각각에 대해 객체 감지를 돌리고, 결과를 매칭하는 과정이 무거웠으니까요. 네이티브 비디오 임베딩을 쓰면 이 과정이 크게 단순화돼요.

업계에서의 위치

영상 이해와 검색은 AI 업계에서 아주 뜨거운 분야예요. OpenAI의 GPT-4V도 영상 입력을 지원하지만 임베딩 API 형태로 비디오를 직접 지원하는 건 아직이고, Twelve Labs 같은 스타트업이 비디오 이해 전문 API를 제공하고 있어요. Google이 Gemini에서 네이티브 비디오 임베딩을 지원하기 시작한 건, 이 시장에서 플랫폼 레벨의 경쟁이 본격화되고 있다는 신호예요.

특히 보안 카메라, 미디어 아카이브, 교육 콘텐츠, 스포츠 분석 같은 영역에서 비디오 시맨틱 검색(의미 기반 검색)의 수요가 빠르게 늘고 있어요. 지금까지는 이런 솔루션을 구축하려면 컴퓨터 비전 전문 인력이 필요했는데, API 호출 몇 번으로 구현할 수 있게 되면 진입 장벽이 확 낮아지는 거죠.

한국 개발자에게 주는 시사점

한국에서도 CCTV 관제, 방송 콘텐츠 검색, 이커머스 상품 영상 분석 등 비디오 검색이 필요한 분야가 많아요. SentrySearch 같은 프로젝트를 참고하면 사이드 프로젝트로도 충분히 프로토타입을 만들어볼 수 있는 수준이에요. Gemini API의 비디오 임베딩 기능을 직접 테스트해보고, 자신이 다루는 도메인의 영상 데이터에 적용해보는 것도 좋은 학습이 될 거예요.

다만 주의할 점도 있어요. 네이티브 비디오 임베딩이 편리하긴 하지만, API 비용과 처리량 제한을 꼭 확인해야 해요. 특히 대규모 CCTV 시스템처럼 영상이 지속적으로 쌓이는 환경에서는 비용이 빠르게 늘어날 수 있거든요.