키워드 검색이 답답했던 적 있나요
미술관 웹사이트에서 작품을 찾아본 적이 있다면 아실 거예요. 작가 이름이나 작품 제목을 정확히 알아야 검색이 되잖아요. “비 오는 밤거리를 그린 쓸쓸한 그림” 같은 걸 찾고 싶어도 메타데이터에 그런 단어가 없으면 결과가 안 나와요.
The Last Museum은 이 문제를 정면으로 다룬 서비스예요. 세계 주요 미술관들의 소장품 약 580만 점을 한곳에 모아 시맨틱 검색(semantic search)으로 찾을 수 있게 만들었어요. 단어가 일치하는지가 아니라 의미가 비슷한지를 기준으로 검색하는 거예요.
시맨틱 검색이 뭐냐면
기존 키워드 검색은 도서관 색인 카드와 같아요. '고양이'라고 적힌 카드만 찾아 주죠. 시맨틱 검색은 사서에게 “따뜻한 느낌의 동물 그림 있나요?”라고 물어보는 것과 비슷해요. 메타데이터에 '따뜻한'이라는 단어가 없어도 사서는 맥락을 이해하고 찾아 주잖아요.
기술적으로는 임베딩(embedding)이 핵심이에요. 이게 뭐냐면, 텍스트나 이미지를 수백 개의 숫자로 이루어진 벡터로 바꾸는 건데, 의미가 비슷한 것끼리 벡터 공간에서 가까이 놓이도록 학습돼요. 그래서 검색어를 벡터로 바꾼 다음 가장 가까운 작품 벡터를 찾으면 돼요.
이런 미술품 검색에는 OpenAI의 CLIP이나 구글의 SigLIP 같은 멀티모달 모델을 많이 써요. 이미지와 텍스트를 같은 벡터 공간에 넣기 때문에 텍스트로 이미지를 찾을 수도 있고, 이미지로 비슷한 이미지를 찾을 수도 있어요. 작품 설명이 빈약해도 그림 자체를 보고 찾아 준다는 게 큰 장점이죠.
580만이라는 규모를 숫자로 감 잡아 보기
작품 하나에 512차원 float32 벡터를 쓴다고 가정하면 580만 개 × 512 × 4바이트로 약 11.9GB예요. 768차원이면 17GB를 훌쩍 넘고요. 검색할 때마다 이걸 전부 비교하면 너무 느려서 보통 HNSW 같은 근사 최근접 이웃(ANN) 인덱스를 써요. 모든 벡터를 다 보지 않고, 미리 만들어 둔 지름길 그래프를 따라가면서 가까운 후보만 빠르게 찾는 방식이에요. 정확도를 조금 포기하는 대신 속도를 수십~수백 배 얻는 거죠.
메모리를 더 아끼려면 벡터를 8비트나 1비트로 줄이는 양자화(quantization)를 쓰기도 해요. pgvector, Qdrant, Milvus, FAISS 같은 도구들이 이런 기능을 대부분 지원해요.
데이터 출처는 사이트에서 확인하실 수 있는데, 이 정도 규모의 미술 데이터베이스는 보통 오픈 액세스 정책을 가진 미술관들 덕분에 가능해요. 메트로폴리탄 미술관, 시카고 미술관, 라익스뮤지엄, 스미스소니언 같은 기관들이 소장품 데이터와 이미지를 API나 공개 데이터셋으로 풀어 두고 있거든요. 다만 기관마다 데이터 형식이 제각각이라 이걸 하나로 맞추는 작업이 실제로는 가장 지루하고 손이 많이 가요.
업계 맥락
미술품 검색 서비스는 예전에도 있었어요. 대표적인 게 구글 아츠 앤 컬처(Google Arts & Culture)인데, 구글이 기관들과 직접 파트너십을 맺고 큐레이션한 플랫폼이에요. The Last Museum 같은 프로젝트는 공개 데이터와 오픈 모델만으로 누구나 비슷한 걸 만들 수 있다는 걸 보여 준다는 점에서 의미가 달라요.
시맨틱 검색은 이제 RAG(검색 증강 생성)의 기반 기술로 거의 모든 AI 서비스에 들어가 있어요. 미술품 검색은 그중에서도 텍스트와 이미지를 넘나드는 멀티모달 검색을 잘 보여 주는 사례라고 할 수 있어요.
한국 개발자에게 주는 시사점
국내에도 써 볼 만한 데이터가 꽤 있어요. 국립중앙박물관을 비롯한 여러 박물관 소장품을 모아 둔 e뮤지엄, 공공데이터포털의 문화유산 데이터 같은 것들이요. 이걸로 “이 사진이랑 비슷한 조선 백자 찾아 줘” 같은 검색을 만들어 보면 포트폴리오로도 꽤 인상적일 거예요.
주의할 점은 한국어 검색 품질이에요. 원조 CLIP은 영어 위주로 학습돼서 한국어 질의에 약해요. 다국어 CLIP 계열이나 다국어를 지원하는 SigLIP 모델을 쓰거나, 한국어 질의를 영어로 번역한 뒤 검색하는 우회로를 고려해야 해요. 이 부분을 어떻게 풀었는지가 국내 서비스의 차별점이 될 수 있어요.
데이터 라이선스도 꼭 확인하세요. 오픈 액세스라도 이미지마다 이용 조건이 다를 수 있거든요.
마무리
메타데이터가 아니라 느낌으로 580만 점의 작품을 찾는 시대예요. 시맨틱 검색은 이제 대기업만의 기술이 아니라 공개 데이터와 오픈 모델로 누구나 만들 수 있는 도구가 됐어요.
시맨틱 검색을 붙여 보고 싶은 데이터가 있다면 어떤 건가요? 한국어 멀티모달 검색을 실제로 써 보신 분들은 어떤 모델이 가장 괜찮았는지도 궁금해요.
🔗 출처: Hacker News