DuckDB에서 벡터 검색을 할 수 있게 해주는 ACORN-1 확장이 나왔어요 — 필터링까지 되는 HNSW

벡터 검색, 이제 DuckDB 안에서 바로 해보세요

요즘 AI 애플리케이션을 만들다 보면 벡터 검색이라는 걸 거의 반드시 만나게 돼요. 벡터 검색이 뭐냐면, 텍스트나 이미지 같은 데이터를 AI 모델이 이해하는 숫자 배열(임베딩 벡터)로 변환한 다음, "이것과 가장 비슷한 데이터를 찾아줘"라고 물어보는 거예요. 예를 들어 RAG(검색 증강 생성) 시스템을 만든다면, 사용자 질문과 가장 관련 있는 문서 조각을 찾기 위해 벡터 검색을 쓰게 되죠.

보통 이런 벡터 검색을 하려면 Pinecone, Weaviate, Milvus, Qdrant 같은 전용 벡터 데이터베이스를 별도로 띄워야 해요. 또는 PostgreSQL에 pgvector 확장을 설치하는 방법도 있고요. 그런데 이번에 DuckDB에서 벡터 검색을 할 수 있게 해주는 커뮤니티 확장이 공개됐어요. 그것도 단순한 벡터 검색이 아니라, 필터링이 가능한 벡터 검색이에요.

HNSW와 ACORN-1, 이게 뭔데요?

먼저 HNSW부터 설명할게요. HNSW는 Hierarchical Navigable Small World의 약자인데, 벡터 검색에서 가장 널리 쓰이는 인덱스 알고리즘이에요. 쉽게 말하면, 수백만 개의 벡터 중에서 비슷한 걸 빠르게 찾기 위한 일종의 지도를 미리 만들어놓는 거예요. 모든 벡터를 하나하나 비교하면 너무 느리니까, 그래프 구조를 만들어서 가까운 이웃끼리 연결해놓고 효율적으로 탐색하는 방식이에요. 동네 지도에서 가장 가까운 편의점을 찾을 때, 모든 건물을 다 확인하는 게 아니라 대략적인 방향으로 가면서 점점 좁혀나가는 것과 비슷해요.

그런데 HNSW에는 하나 큰 약점이 있어요. 메타데이터 필터링이랑 같이 쓰기가 어렵다는 거예요. 예를 들어 "2025년 이후에 작성된 문서 중에서 내 질문과 가장 비슷한 걸 찾아줘"라고 하면, 순수 HNSW로는 이게 까다로워요. 먼저 벡터 검색으로 비슷한 걸 찾은 다음 필터링하면 결과가 너무 적을 수 있고, 필터링을 먼저 하면 HNSW 인덱스를 제대로 활용할 수 없거든요.

ACORN-1은 바로 이 문제를 해결하기 위한 알고리즘이에요. 2024년에 발표된 연구 논문에서 제안된 방법인데, HNSW 그래프를 구축할 때 필터 조건을 미리 고려해서, 필터링과 벡터 검색을 동시에 효율적으로 수행할 수 있게 해줘요. "사전 필터링된 HNSW"라고 부를 수 있는 거죠.

DuckDB에서 이걸 쓸 수 있다는 게 왜 대단한가요

DuckDB를 모르시는 분을 위해 잠깐 설명하면, DuckDB는 "분석용 SQLite"라고 불리는 임베디드 분석 데이터베이스예요. 별도 서버 없이 프로세스 안에서 바로 돌아가는데, 분석 쿼리 성능이 놀라울 정도로 빠르거든요. 파이썬이나 R에서 판다스 대신 쓰는 분들도 많고, 데이터 엔지니어링 파이프라인에서도 많이 활용되고 있어요.

이 DuckDB에 벡터 검색 기능이 들어간다는 건, 별도의 벡터 DB를 띄우지 않고도 분석 데이터와 벡터 검색을 한곳에서 처리할 수 있다는 뜻이에요. 특히 프로토타이핑이나 소규모 프로젝트에서는 인프라를 크게 간소화할 수 있어요. Pinecone 같은 서비스를 따로 구독하고 데이터를 동기화할 필요 없이, DuckDB 파일 하나에 구조화된 데이터와 벡터 데이터를 같이 넣고 SQL로 검색하면 되니까요.

사용법도 DuckDB 확장 설치 방식을 따르기 때문에 간단해요. SQL 쿼리 안에서 벡터 인덱스를 만들고, WHERE 절로 메타데이터 필터를 걸면서 동시에 벡터 유사도 검색을 할 수 있어요. 데이터 사이언티스트나 ML 엔지니어가 노트북 환경에서 빠르게 실험해보기에 딱이에요.

비슷한 도구들과 비교하면

pgvector가 PostgreSQL에서 비슷한 역할을 하고 있고, SQLite에도 sqlite-vss 같은 확장이 있어요. 하지만 DuckDB는 분석 워크로드에 특화되어 있어서 대량의 데이터를 스캔하고 집계하는 작업이 훨씬 빠르다는 장점이 있어요. 그래서 "임베딩을 생성하고, 저장하고, 분석하고, 검색하는" 전체 워크플로우를 DuckDB 하나로 처리할 수 있는 가능성이 열리는 거예요.

물론 수억 건 이상의 대규모 벡터 검색이 필요하다면 여전히 전용 벡터 DB가 맞아요. 이 확장은 그런 스케일을 목표로 하는 게 아니라, 중소 규모에서 간편하게 벡터 검색을 활용하려는 사용 사례에 적합해요.

한국 개발자에게 주는 시사점

RAG 시스템을 만들거나 AI 프로젝트에서 벡터 검색이 필요한데 인프라를 최소화하고 싶다면, 이 확장을 한번 살펴볼 가치가 있어요. 특히 사이드 프로젝트나 PoC(개념 증명) 단계에서 벡터 DB까지 띄우는 건 과한 경우가 많잖아요. DuckDB 하나로 해결할 수 있다면 개발 속도도 빨라지고 운영 부담도 줄어요.

또한 ACORN-1 알고리즘 자체도 공부해볼 만해요. 벡터 검색에서 필터링은 실무에서 거의 반드시 필요한 기능인데, 이걸 효율적으로 처리하는 방법은 아직 활발하게 연구되고 있는 영역이거든요. 관련 논문을 읽어보면 벡터 인덱싱에 대한 이해가 한층 깊어질 거예요.