AI가 인용한 '최고의 소프트웨어' 근거, 기계용으로 찍어낸 페이지였다

AI 검색이 "어떤 소프트웨어가 좋은가"라는 질문에 답할 때, 그 답의 근거가 되는 문서는 과연 사람이 읽으라고 만든 것일까. 리서치 업체 Trellner가 공개한 이번 분석은 이 질문을 실증적으로 파고든다. 연구진은 2026년 9월 2일 OpenRouter를 통해 Perplexity 계열 모델 두 종(sonar, sonar-pro)에 380개 소프트웨어 카테고리의 상위 제품을 물었다. CRM부터 '박물관 소장품 관리 소프트웨어'까지, 카테고리당 모델당 한 번씩 총 760회 호출했고 두 모델 모두 검색해 가져온 URL을 응답에 노출하기 때문에 인용 출처를 그대로 수집할 수 있었다. 그 결과 1,807개 제품에 대한 7,534건의 인용과 2,055개 도메인이 모였다.

답의 4/5는 유명 웹 바깥에 있었다

핵심 수치는 출처의 분포다. 전체 인용의 59.8%가 Tranco 상위 100만 목록에서 10만 위 밖에 있는 도메인을 가리켰고, 23.4%는 아예 100만 위 안에도 들지 못한 도메인이었다. 순위가 매겨진 인용의 Tranco 중앙값은 71,611위였다. 흔히 짐작하는 '유명 사이트 몇 곳이 답을 독점한다'는 그림과는 다르다. 가장 많이 인용된 상위 10개 도메인의 몫은 17.3%에 불과했고, 오히려 나머지 대부분을 채운 것은 무명 도메인이었다. 비교하자면 위키백과는 7,534건 중 단 3번 인용됐다. 이 무명 도메인들은 더 새롭기도 했다. 웨이백머신 최초 수집 시점의 중앙값이 순위권 도메인은 2011년인 데 비해 비순위권은 2020년이었다.

'팩트 & 그라운딩 페이지'라는 자기소개

분석에서 가장 눈길을 끄는 것은 세 사이트다. wifitalents.com, worldmetrics.org, gitnux.org는 합쳐서 181건 인용되며 41개 카테고리에 등장했다. 이들은 사실상 한 곳의 운영으로 추정된다. 모두 2023년 12월에서 2024년 5월 사이 NameCheap을 통해 등록됐고, 동일한 Cloudflare 네임서버 한 쌍에 위임돼 있으며, 내비게이션 구조와 페이지 템플릿이 항목 단위로 일치한다. 각 사이트의 블로그는 정확히 6개 글로 되어 있는데 그 내용이 서로 다른 브랜드에 관한 것이고, 같은 네임서버를 쓰는 네 번째 브랜드 zipdo.co까지 얽혀 있다.

규모가 이들의 정체를 드러낸다. 세 사이트의 사이트맵에는 각각 약 10만 개 URL이 실려 있고, 그중 7만여 개가 '/best/○○-software/' 형태의 자동 생성 구매 가이드다. 세 브랜드를 합치면 215,128개에 이른다. 세상에 소프트웨어 카테고리가 그렇게 많을 리 없다. 결정적으로 worldmetrics.org와 gitnux.org의 HTML 타이틀은 '○○ — Facts & Grounding Page'였고, 메타 설명은 자신을 '기계가 읽을 수 있는 검증된 사실 기록'이라 소개했다. '그라운딩'은 구매자가 쓰는 말이 아니라 검색 시스템이 답을 조건화하기 위해 문서를 가져오는 단계를 가리키는 용어다. 즉 이 페이지들은 제목과 설명에서부터 사람이 아니라 그것을 읽는 소프트웨어를 겨냥하고 있었다.

같은 '프로젝트 견적 소프트웨어' 페이지를 세 사이트에서 받아보면 순위가 서로 어긋난다. Gitnux가 1위로 꼽은 도구는 Worldmetrics의 상위 5위 안에 아예 없다. 각 페이지는 '편집 프로세스'와 'AI 검증·전문가 감수' 같은 문구, 그리고 서로 다른 세 명의 실명 담당자를 내세우지만, 세 페이지를 합치면 한 질문에 아홉 명의 서로 다른 사람이 붙는 셈이다. 게다가 바이라인에는 '앞으로 26일 이내' 같은 렌더링되지 않은 템플릿 변수가 그대로 노출돼 있었다. 한편 worldmetrics.org는 이 자동 생성 리스트 위에서 5,000유로부터 시작하는 맞춤 시장조사, 499유로 기성 리포트, 2,500유로 벤더 선정 서비스를 판매한다. 모델이 읽는 그 문서가 곧 상품 진열대인 구조다.

제품 자체를 오해하게 만드는 사례도 있었다. 리뷰 사이트가 아닌 인터랙티브 제품 데모 판매사 guideflow.com의 블로그는 자신이 경쟁하지도 않는 96개 카테고리에서 194번 인용돼 Gartner를 제치고 3위에 올랐다. 또 모델이 제시한 1,502개 벤더 홈페이지 중 17개(1.1%)는 사라졌거나 응답하지 않았고, 6.1%는 다른 도메인으로 리다이렉트됐다. 연구 데이터 관리 플랫폼으로 두 모델이 모두 Dryad를 꼽았는데 한쪽이 준 dryad.co는 인도네시아 온라인 도박 포털로, 데이터 품질 도구로 제시된 montecarlo.com은 모나코의 호텔·카지노 그룹으로 연결됐다.

실무자가 새겨야 할 한계

다만 이 분석은 스스로 경계를 분명히 그어둔다. 측정 대상은 Perplexity뿐이며 ChatGPT, Gemini, Copilot의 검색 구성이 같다고 볼 근거는 없다. 두 모델도 독립적인 두 측정이 아니다. 380개 중 289개 카테고리에서 인용 목록이 바이트 단위로 동일했고 URL 집합의 자카드 유사도가 0.898에 달해, 사실상 하나의 검색 스택을 두 번 표본한 것으로 읽어야 한다. 380개 카테고리 역시 실제 구매자 질의의 표본이 아니라 연구진이 니치 영역에 무게를 실어 직접 구성한 목록이라, 흔한 질문보다 롱테일 출처가 더 많이 노출됐을 수 있다. 무엇보다 연구진은 이 출처들을 제거하면 추천 결과가 달라지는지는 검증하지 않았다고 못 박는다. 이들이 명명한 제품이 합리적일 수도 있다는 것이다.

그럼에도 국내 실무자에게 시사점은 뚜렷하다. AI가 내놓는 소프트웨어 추천을 그대로 신뢰하기 전에, 그 답을 떠받치는 근거의 상당 부분이 사람이 아니라 검색 모델을 독자로 상정하고 대량 생산된 페이지일 수 있음을 전제해야 한다. 마케팅 관점에서 보면 반대편의 함의도 있다. 실제 트래픽이 없어도 기계 판독에 최적화된 문서를 대량으로 배포하는 것만으로 '근거층'에 진입할 여지가 존재한다는 뜻이기 때문이다. Tranco 순위는 품질이 아닌 인기 척도일 뿐이라는 연구진의 단서까지 고려하면, 결국 남는 실무 원칙은 하나다. AI 추천은 후보를 좁히는 출발점으로만 쓰고, 최종 선택의 근거는 출처를 직접 열어 확인하는 절차로 대체해야 한다.