요즘 뭔가 궁금할 때 구글 검색 대신 AI한테 바로 물어보는 분들 많으시죠? 저도 그래요. 그런데 캐나다 매체 The Walrus가 이 편리함의 이면을 짚는 글을 냈는데, 내용이 꽤 서늘해요. AI가 웹의 콘텐츠를 집어삼키면서, 인터넷이라는 인류의 집단 기억 자체가 사라지고 있다는 이야기거든요.
검색과 웹사이트의 오래된 거래가 깨졌어요
지금까지 웹 생태계는 일종의 암묵적인 거래로 굴러왔어요. 웹사이트는 구글이 자기 콘텐츠를 긁어가는 걸 허용하고, 그 대가로 구글은 검색 결과를 통해 방문자를 보내주는 구조였죠. 방문자가 오면 광고 수익이나 구독자가 생기니까, 콘텐츠를 계속 만들 경제적 유인이 유지됐던 거예요.
그런데 AI가 이 거래를 깨버렸어요. 구글의 AI 개요(AI Overviews)나 챗봇들은 웹에서 긁어온 내용으로 답을 '완성해서' 보여주거든요. 사용자는 답을 얻었으니 굳이 원본 사이트를 클릭할 이유가 없죠. 이걸 '제로 클릭 검색'이라고 하는데, 검색은 일어나지만 웹사이트로의 방문은 일어나지 않는 현상이에요. 실제로 많은 매체와 독립 블로그들이 검색 유입 트래픽이 급감했다고 보고하고 있어요.
트래픽이 끊기면 콘텐츠가 죽어요
문제는 여기서 끝나지 않아요. 트래픽이 끊기면 수익이 끊기고, 수익이 끊기면 사이트가 문을 닫아요. 사이트가 문을 닫으면 그동안 쌓인 글들이 통째로 사라지고요. 이걸 '링크 부패(link rot)'라고 부르는데, 이미 심각한 수준이에요. 퓨 리서치 조사에 따르면 2013년에 존재하던 웹페이지의 38%가 10년 만에 접속 불가능해졌거든요. AI 이전부터 진행되던 침식이 AI 때문에 가속되고 있는 거예요.
그나마 인터넷 아카이브(Internet Archive)의 웨이백 머신이 안전망 역할을 하고 있는데, 이것도 한계가 있어요. 인류의 웹 전체를 비영리 단체 하나가 백업하고 있는 셈이라, 소송이나 재정 문제가 생길 때마다 아슬아슬하죠. 도서관은 나라마다 있는데 웹의 도서관은 사실상 하나뿐인 상황이에요.
AI 입장에서도 자기 발등을 찍는 일이에요
여기에 아이러니가 하나 있어요. AI 모델은 웹 콘텐츠를 학습해서 만들어졌잖아요. 그런데 AI 때문에 웹에 새 콘텐츠를 올릴 유인이 사라지면, 미래의 AI가 학습할 신선한 데이터도 함께 사라져요. AI가 만든 글을 AI가 다시 학습하는 순환이 반복되면 품질이 무너진다는 '모델 붕괴' 연구도 있고요. 우물물을 다 퍼 마시고 나면 우물을 다시 채울 사람이 없는 상황인 거죠.
그래서 업계도 대응을 시작했어요. 언론사들은 AI 회사와 콘텐츠 라이선스 계약을 맺거나 크롤러를 차단하고 있고, Cloudflare는 AI 크롤러에게 요금을 물리는 pay-per-crawl 같은 실험을 하고 있어요. 콘텐츠에 다시 가격표를 붙여서 무너진 거래 구조를 복원하려는 시도들이에요.
개발자에게는 남 얘기가 아니에요
이 흐름은 개발 생태계에도 그대로 적용돼요. Stack Overflow의 방문자와 질문 수가 AI 코딩 도구 등장 이후 크게 줄었다는 건 이미 잘 알려진 사실이잖아요. 그런데 AI가 코딩 질문에 답할 수 있는 건 지난 15년간 쌓인 Stack Overflow의 문답 데이터 덕분이거든요. 새 프레임워크, 새 버전에 대한 인간의 질문과 답변이 쌓이지 않으면 AI의 답변 품질도 점점 낡아갈 수밖에 없어요. 개인 기술 블로그도 마찬가지예요. 검색 유입이 줄면 쓸 맛이 안 나고, 그러면 한국어 기술 콘텐츠 생태계 전체가 얇아지죠.
정리하면, AI의 편리함이 그 편리함의 원천인 웹 생태계를 무너뜨리는 순환이 시작됐다는 거예요. 여러분은 요즘도 검색 결과에서 블로그를 직접 클릭해서 읽으시나요? 그리고 이런 상황에서도 기술 블로그를 계속 쓸 이유가 있다고 생각하세요?
🔗 출처: Hacker News