오픈소스 검색엔진 Manticore Search가 KNN(최근접 이웃) 벡터 검색 속도를 끌어올린 방법을 공유했습니다. 핵심은 세 가지입니다. 첫째, '2-pass HNSW' 방식으로 그래프 탐색을 두 단계로 나눠, 1차에서 후보를 빠르게 추리고 2차에서 정밀하게 거리를 계산해 불필요한 연산을 줄였습니다. 둘째, 거리 계산을 하나씩 처리하는 대신 여러 벡터를 묶어 한꺼번에 계산하는 '배치 처리'로 CPU 캐시 효율과 메모리 접근 패턴을 개선했습니다. 셋째, AVX-512 SIMD 명령어를 활용해 한 사이클에 더 많은 부동소수점 연산을 병렬 처리함으로써 거리 계산 자체를 가속했습니다. 이 세 가지가 결합되어 의미가 큽니다. RAG와 추천 시스템 등 벡터 검색 수요가 폭증하는 지금, 정확도를 유지하면서도 알고리즘 구조 개선과 하드웨어 수준의 최적화를 함께 적용하면 실질적인 지연 시간 단축이 가능하다는 점을 보여주는 좋은 사례입니다.