TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 102 READS

쿼리 분포를 미리 학습해 RAG 검색을 빠르게: 애플의 분할상환 MIPS

쿼리 분포를 미리 학습해 RAG 검색을 빠르게: 애플의 분할상환 MIPS
SOURCE IMAGE · HACKER NEWS

RAG(검색 증강 생성)나 추천 시스템, 검색 엔진의 내부를 들여다보면 거의 예외 없이 최대 내적 탐색(MIPS, Maximum Inner Product Search)이 자리 잡고 있다. 쿼리 하나가 벡터로 바뀌면, 수백만 개의 후보 키 벡터 가운데 그 쿼리와 내적이 가장 큰 것을 찾아야 한다. RAG에서는 이렇게 찾아낸 가장 잘 맞는 문서를 질문 앞에 붙여 모델에 넘기는 방식이 보통이다. 문제는 키가 수백만 개로 늘고 벡터 차원이 수천에 이르면, 모든 키와 일일이 비교하는 완전 탐색의 비용이 감당하기 어려울 만큼 커진다는 점이다.

그동안 이 비용을 줄이기 위해 클러스터링과 양자화를 활용한 근사 탐색 기법들이 제안돼 왔다. 다만 이들 기법은 대개 '키'의 기하학적 구조에만 집중한다. 쿼리가 키와 비슷하게 생겼을 것이라고 느슨하게 가정하거나, 아예 쿼리의 형태를 고려하지 않는다. 애플 연구진은 바로 이 지점을 파고들었다. RAG에서 쿼리는 사용자가 던지는 짧은 질문인 반면 키는 길고 정제된 문서라서 둘의 성격이 근본적으로 다르다. 게다가 실제 운영 환경의 MIPS 시스템은 안정적이고 특성이 분명한 사용자 쿼리 분포를 이미 가지고 있는데, 쿼리에 무관심한 범용 기법은 이 신호를 그냥 흘려보낸다.

지지 함수라는 수학적 열쇠

ICML 2026에서 발표된 논문 'Amortizing Maximum Inner Product Search with Learned Support Functions'의 발상은, 고정된 키 데이터베이스에 대해 작은 신경망을 오프라인에서 한 번만 학습시켜 두는 것이다. 전형적인 쿼리가 어떻게 매칭되는지를 미리 학습하는 선행 비용을 치르는 대신, 추론 시점에서는 더 빠르고 정확한 검색을 얻는 분할상환(amortization) 전략이다.

이 접근의 토대는 그동안 이 분야에서 거의 주목받지 않았던 수학 구조다. 어떤 키 집합에 대해 쿼리를 받아 그 집합과의 최대 내적값을 돌려주는 함수는, 볼록 해석학에서 잘 연구된 '지지 함수(support function)'다. 이 함수는 두 가지 쓸모 있는 성질을 가진다. 첫째, 볼록 함수이므로 볼록 함수에 특화된 신경망인 입력 볼록 신경망(ICNN)으로 근사할 수 있다. 둘째, 특정 쿼리에서의 기울기(gradient)가 곧 가장 잘 맞는 키 벡터 자체를 가리킨다. 즉 지지 함수를 흉내 내도록 신경망을 회귀 학습시키면, 그 자체로 검색 해법을 신경망 가중치 안에 담아내는 셈이다.

SupportNet과 KeyNet

연구진은 두 작업을 각각 전담하는 별도 신경망을 두는 편이 낫다는 것을 확인했다. SupportNet은 지지 함수를 직접 학습한다. 대규모 탐색에서 흔히 쓰이는 역색인(IVF) 구조는 키를 k개의 클러스터로 나누고 각 클러스터의 중심점(centroid)과만 쿼리를 비교해 라우팅하는데, 중심점 하나는 클러스터의 퍼짐을 담지 못해 중심에서 멀리 떨어진 키가 정답일 때 그 클러스터를 건너뛰는 오류가 생긴다. SupportNet은 클러스터마다 지지 함수를 학습해 '이 클러스터 안에서 가장 좋은 키가 이 쿼리에 얼마나 잘 맞는가'라는 더 유용한 질문에 답함으로써 라우팅 정확도를 높인다. 반면 KeyNet은 쿼리를 넣으면 가장 잘 맞는 키 벡터를 바로 내놓도록 학습되며, 동차 함수에 대한 오일러 정리에서 유도한 일관성 손실로 예측을 기하학적으로 붙들어 둔다.

성능 검증은 약 260만 개의 고유 지문을 128개 클러스터로 나눈 Natural Questions 벤치마크에서 이뤄졌다. 라우팅 측면에서 작은 SupportNet은 신경망 실행 비용까지 반영하고도 중심점 라우팅보다 약 1.9배 빠르게 95% 라우팅 재현율에 도달했고(1.74ms 대 3.36ms), 큰 모델은 1.74ms에 97%를 찍었다. 데이터베이스의 5%만 훑었을 때 학습된 라우터는 정답 파티션을 90~93%(M 모델 최대 92.6%) 되찾았고, 중심점 기준선은 87.5%에 그쳤다.

KeyNet은 기존 IVF 색인은 그대로 둔 채 쿼리를 다시 쓰는 '쿼리 리라이터'로 앞단에 붙는다. 원본 질문 대신 KeyNet이 예측한 키 위치로 색인을 검색하게 하는 방식이다. FAISS IVF 색인 실험에서 가장 큰 모델은 99% 재현율에 도달하는 시간을 약 8배 줄였고(0.23ms 대 원본 쿼리 1.8ms), 데이터베이스의 0.001%만 스캔해도 정답 키를 89~97%(L 모델 최대 96.7%) 찾아냈다. 원본 쿼리는 같은 조건에서 86%였고, 99% 재현율에 필요한 키 수는 KeyNet이 약 11배 적었다(0.009% 대 0.10%).

실무에서의 선택 기준

둘 중 무엇을 쓸지는 결국 운영상의 판단이다. 추론 속도가 병목이고 최적 키를 근사하기만 하면 될 때는 KeyNet이, 재순위화나 임계값 처리처럼 보정된 점수가 필요하거나 모델 크기를 작게 가져가야 하는 상황에서는 SupportNet이 유리하다. 두 방식 모두 학습 절차가 비슷하고 기존 근사 탐색 인프라에 자연스럽게 통합되며, 쿼리 패턴의 완만한 분포 변화에도 비교적 견고하다고 연구진은 밝혔다. 키 집합이 아주 거대한 시스템이라면 전체 클러스터에 대한 SupportNet 라우터와 클러스터별 KeyNet을 함께 두는 조합도 가능하다.

한 가지 분명히 짚어둘 한계는 이 접근이 쿼리 분포를 사전에 알고 있다는 전제에 기대고 있다는 점이다. 운영 환경에서는 흔한 조건이지만, 신규 서비스처럼 쿼리 특성이 아직 잡히지 않았거나 시간이 지나며 분포가 크게 바뀌는 경우에는 분할상환 비용의 효용이 떨어질 수 있다. 그럼에도 검색 해법을 신경망 가중치에 미리 새겨 넣어 추론 비용을 낮춘다는 발상은, 쿼리에 무관심하던 벡터 검색을 '학습된 검색' 쪽으로 옮겨 놓는 실용적 방향을 제시한다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://machinelearning.apple.com/research/faster-retrieval
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...