TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 52 READS

출처 불명 도메인이 Majestic 랭킹 38위에 오른 이유: 프로덕션에서 테스트하지 말라

출처 불명 도메인이 Majestic 랭킹 38위에 오른 이유: 프로덕션에서 테스트하지 말라
SOURCE IMAGE · HACKER NEWS

웹의 신뢰도를 수치화하려는 시도는 오래됐지만, 그 수치가 얼마나 쉽게 오염될 수 있는지는 자주 드러나지 않는다. 개인 웹사이트(jack.cab)를 운영하는 한 개발자가 백링크 모니터를 들여다보다 마주친 한 사건은, 우리가 당연하게 신뢰해 온 도메인 순위 데이터셋이 생각보다 허술한 토대 위에 서 있다는 점을 보여준다. 이야기의 중심에는 w2rt6byl5nf1opmc-a.com이라는, 사람이 외우기 불가능한 이름의 도메인이 있다.

발단은 평범했다. 글쓴이는 자신에게 새로 생긴 백링크 하나가 windows.net.siterate.org로 연결되는 것을 발견했다. siterate.org는 백링크·도메인 순위 분석에 Majestic 데이터를 활용하는 서비스였다. 정작 문제의 도메인 w2rt6byl5nf1opmc-a.com 자체는 방문해도 열리지 않았다. 파이어폭스는 dnsNotFound 오류를 냈고, 글을 쓰는 시점까지도 DNS가 해석되지 않았다. 존재하지 않는 것이나 다름없는 도메인이라는 뜻이다.

존재하지 않는 도메인이 상위 100위 안에 들다

그런데 이 유령 같은 도메인은 Majestic Million 순위에서 상위 100위 중 가장 빠르게 성장하는 도메인으로 집계되고 있었다. Majestic Million은 도메인에 링크를 거는 서로 다른 서브넷의 수를 기준으로 순위를 매긴다. Site Explorer에 따르면 이 도메인은 약 516만 개의 참조 도메인에 걸쳐 2억 4,108만 개가 넘는 nofollow 백링크와 단 6개의 follow 백링크를 가진 것으로 나왔다. 반면 경쟁 서비스 Ahrefs에서는 백링크가 고작 53개로 잡혔다. 두 자릿수와 두 어림수가 이렇게까지 벌어지는 것은 정상적인 크롤링 결과로 설명하기 어렵다.

수치의 내부 모순은 더 노골적이다. Majestic의 앵커 텍스트 표를 보면 링크 수 합계가 겨우 9에 불과했고, 별도의 '기타' 항목도 없었다. 그러면서 링크의 100%가 텍스트 링크라고 표시했다. 2억 4천만 개의 링크가 이미지도 아니고 분류 불가도 아닌데, 실제 집계표에는 아홉 개만 존재하는 셈이다. 글쓴이가 Majestic Million 데이터를 직접 내려받아 검색했을 때도 이 도메인에서 확인된 서브도메인은 여섯 개뿐이었다.

등록보다 먼저 쌓인 백링크

시간선도 앞뒤가 맞지 않는다. 인증서 투명성(Certificate Transparency) 기록상 이 도메인이 처음 구매된 것은 11월 11일인데, 대부분의 백링크는 그 이전에 집계됐다. Tranco에는 10월 5일자 데이터가 남아 있었고, 2주 전에 작성된 AI 생성 보도자료가 이 도메인을 이미 언급하고 있었다. 도메인이 세상에 등록되기도 전에 '최근 120일 내 신선한 링크'가 수억 개 쌓여 있었다는 얘기다. 글쓴이는 이 모든 정황을 종합해, siterate.org 측이 의도적으로 난해한 도메인을 골라 내부 실험을 진행하다가 그 결과를 외부 리포트에서 걸러내는 필터를 빠뜨린 것으로 추정한다. 말하자면 테스트 데이터가 프로덕션 지표로 새어 나온 사고다.

이 사건이 단순한 해프닝에 그치지 않는 이유는 오염이 한 서비스에 머물지 않았기 때문이다. 같은 도메인은 Tranco 순위에서 38위에 올라 있었다. Tranco는 바로 이런 조작과 변동성으로부터 연구용 랭킹을 보호하려고 설계된 리스트인데도, 내부적으로 Majestic 데이터를 섞어 쓰는 탓에 같은 오염을 그대로 물려받았다. 참고로 꽤 알려진 개인 사이트라는 jack.cab의 Tranco 순위가 80만 위권이라는 점과 비교하면, 해석되지도 않는 도메인이 38위에 앉아 있는 그림이 얼마나 기이한지 드러난다.

한국의 실무자 관점에서 이 사례의 함의는 분명하다. 보안 허용목록, 크롤링 우선순위, 평판 스코어링, 학술 샘플링에 이르기까지 상위 도메인 리스트는 '객관적 지표'라는 이름으로 광범위하게 재사용된다. 그러나 Majestic처럼 서브넷 기반 집계는 소수의 네트워크 조작만으로 부풀려질 수 있고, 그것을 신뢰하는 하위 서비스들이 오염을 연쇄적으로 확산시킨다. 어떤 도메인이 상위 랭킹에 있다는 사실 자체를 신뢰나 실재의 증거로 삼는 자동화 로직이 있다면, 한 번쯤 점검해 볼 필요가 있다.

다만 이 글이 제시하는 결론은 확정된 조사 결과가 아니라 외부 단서로 재구성한 추론이라는 점은 짚어 둘 만하다. 글쓴이 스스로 Majestic 유료 구독을 사다 30초 만에 확인할 수도 있었지만 하지 않았다고 밝혔고, 2023년에 등록된 또 다른 상위 도메인의 운영사 대표가 Majestic 이사회에 이름을 올리고 있다는 등 '무관할 수도 있는 이상 징후'도 함께 언급한다. 원인의 세부는 열려 있지만, 교훈은 간명하다. 프로덕션에서 테스트하지 말 것, 그리고 외부가 신뢰하는 지표일수록 필터 하나의 누락이 치르는 비용이 크다는 것이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://jack.cab/blog/siterate
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...