검색 엔진에 NSFW 필터를 직접 만든 이야기 — Marginalia의 실용적 접근법

독립 검색 엔진이 마주한 현실적인 문제

Marginalia라는 검색 엔진을 들어보신 적 있나요? 구글이나 빙 같은 대형 검색 엔진과는 완전히 다른 방향을 추구하는 독립 검색 엔진인데요. 광고 없이, 개인 블로그나 소규모 웹사이트 같은 "인터넷의 작은 구석"을 잘 찾아주는 걸 목표로 하는 프로젝트예요. 스웨덴의 개발자 빅토르 루이덴(Viktor Lofgren)이 혼자서 운영하고 있어요.

그런데 웹을 크롤링하다 보면 피할 수 없는 문제가 하나 있어요. 바로 성인 콘텐츠(NSFW)가 검색 결과에 섞여 들어오는 거예요. 대형 검색 엔진들은 이 문제를 거대한 AI 모델과 수백 명의 모더레이터 팀으로 해결하는데, 1인 프로젝트에서는 그런 자원이 없잖아요. 그래서 빅토르가 직접 실용적인 NSFW 필터를 만들었는데, 그 과정이 꽤 흥미로워요.

어떻게 만들었을까?

보통 이런 필터를 만든다고 하면 딥러닝 모델부터 떠올리기 쉬운데요. 빅토르의 접근은 훨씬 더 단순하고 실용적이에요. 핵심 아이디어는 텍스트 기반의 휴리스틱 필터링이에요.

이게 뭐냐면, 웹페이지의 텍스트 내용을 분석해서 NSFW일 가능성을 판단하는 건데요. 특정 키워드의 출현 빈도, 페이지의 전반적인 어휘 패턴, URL 구조 같은 신호들을 조합하는 방식이에요. 단일 키워드 하나로 판단하는 게 아니라, 여러 신호를 종합적으로 봐서 점수를 매기는 거죠.

여기서 재미있는 건, 단순한 키워드 블랙리스트 방식이 왜 안 되는지에 대한 설명이에요. 예를 들어 "breast"라는 단어를 무조건 차단하면 유방암(breast cancer) 관련 의학 정보까지 걸러져 버리잖아요. 그래서 맥락을 같이 봐야 해요. 해당 단어가 어떤 다른 단어들과 함께 등장하는지, 페이지 전체의 주제가 뭔지를 종합적으로 판단하는 거예요.

빅토르는 여기에 도메인 레벨의 평판 시스템도 결합했어요. 한 도메인에서 NSFW로 분류되는 페이지가 일정 비율 이상 나오면, 그 도메인 전체에 대한 신뢰도를 낮추는 식이에요. 이렇게 하면 개별 페이지를 일일이 다 분석하지 않아도 효율적으로 필터링할 수 있어요.

왜 이 접근이 주목할 만한가?

기술적으로 보면, 이건 "최소한의 자원으로 충분히 좋은 결과를 만드는" 엔지니어링의 좋은 사례예요. 모든 문제에 딥러닝을 들이대는 게 정답이 아닐 수 있다는 걸 보여주거든요.

대형 플랫폼들은 이미지 분류 모델, 텍스트 분류 모델, 사람 리뷰어를 전부 동원하는데요. 이런 시스템은 정확도는 높지만 구축하고 운영하는 비용이 어마어마해요. 반면 Marginalia의 접근은 텍스트 분석만으로 "대부분의 명백한 케이스"를 걸러내요. 100%의 정확도는 아니지만, 1인 프로젝트의 자원 제약 안에서 80~90%의 문제를 해결하는 셈이죠.

이건 소프트웨어 엔지니어링에서 자주 이야기하는 파레토 법칙(80/20 법칙)의 전형적인 적용이에요. 전체 노력의 20%로 문제의 80%를 해결하고, 나머지 20%의 문제는 점진적으로 개선하는 전략이요.

콘텐츠 필터링 기술의 더 넓은 맥락

콘텐츠 모더레이션은 사실 테크 업계에서 가장 어려운 문제 중 하나예요. 구글, 메타, 트위터(현 X) 같은 대형 플랫폼들이 수천억 원을 투자하고도 완벽하게 해결하지 못하는 문제거든요.

최근에는 LLM을 활용한 콘텐츠 분류가 새로운 트렌드인데요. OpenAI의 Moderation API나 구글의 Perspective API 같은 서비스가 있어요. 하지만 이런 외부 API에 의존하면 비용 문제도 있고, 수십억 개의 페이지를 크롤링하는 검색 엔진 규모에서는 호출 횟수가 감당이 안 될 수 있어요.

그래서 Marginalia의 접근처럼 가벼운 1차 필터로 대부분을 걸러내고, 경계 케이스에만 더 무거운 분석을 적용하는 다층 구조가 현실적인 해법이 되는 경우가 많아요. 이건 스팸 필터의 발전 과정과도 비슷한데요. 이메일 스팸 필터도 처음에는 키워드 기반이었다가, 베이지안 필터, 그리고 최근에는 ML 모델까지 발전해왔지만, 여전히 가벼운 룰 기반 필터가 1차 관문으로 작동하고 있거든요.

한국 개발자에게 주는 시사점

한국에서 서비스를 운영하는 개발자라면 콘텐츠 필터링은 언젠가 마주칠 문제예요. UGC(사용자 생성 콘텐츠)를 다루는 서비스라면 특히 그렇고요. 이때 처음부터 완벽한 AI 모델을 구축하려 하기보다, Marginalia처럼 단순한 휴리스틱부터 시작해서 점진적으로 개선하는 전략이 훨씬 현실적이에요.

또 하나 배울 점은, 1인 또는 소규모 팀의 프로젝트에서 제약을 오히려 창의적 해법의 동력으로 삼는 태도예요. 자원이 무한하면 무조건 GPU 클러스터를 돌리겠지만, 제약이 있으니까 더 효율적이고 우아한 솔루션이 나온 거예요. 사이드 프로젝트나 초기 스타트업에서 특히 참고할 만한 마인드셋이에요.

정리하자면

완벽한 솔루션이 없을 때, 충분히 좋은 솔루션을 빠르게 만드는 능력 — 이게 실력 있는 엔지니어의 핵심 역량이에요. Marginalia의 NSFW 필터는 그 좋은 예시고요.

여러분은 자원이 제한된 상황에서 "완벽보다 실용"을 선택한 경험이 있나요? 어떤 트레이드오프를 하셨는지 궁금해요.