무슨 일이 있었나요?
AI 검색 가시성 분석 서비스를 만드는 Peec AI의 블로그에 흥미로운 글이 올라왔어요. 원제는 'Publish stats, get cited', 그러니까 '통계를 공개하면 인용된다' 는 내용이에요. 자체 데이터를 공개했더니 그 숫자가 웹 곳곳과 AI 답변으로 퍼져나갔다는 경험담이에요.
그런데 이 이야기를 뒤집어 보면 불편한 질문이 하나 생겨요. '검증되지 않은 숫자, 아니 아예 지어낸 숫자를 뿌려도 AI가 똑같이 인용해주는 거 아냐?' 하는 질문이요. 마케팅 팁처럼 보이는 이 글이 사실은 LLM 기반 검색의 신뢰성 문제를 정면으로 건드리고 있어서, 개발자 입장에서도 곱씹어볼 만해요.
GEO, 이게 뭐냐면
SEO(검색엔진 최적화)는 다들 들어보셨죠? 구글 검색 결과 위쪽에 뜨려고 키워드나 백링크를 관리하는 일이요. 요즘은 여기에 GEO(Generative Engine Optimization) 라는 개념이 더해졌어요. 생성형 AI 답변에 내 콘텐츠가 인용되도록 최적화하는 일이에요. ChatGPT 검색이나 Perplexity, 구글 AI 개요 같은 서비스는 답변 밑에 출처 링크를 다는데, 거기에 내 사이트가 걸리느냐가 새로운 트래픽 전쟁터가 된 거예요.
학계에서도 비슷한 결과가 나왔어요. 2023년 프린스턴 등 연구진이 발표한 GEO 논문에 따르면, 콘텐츠에 통계 수치를 넣거나 인용문을 추가하거나 출처를 밝히면 생성형 엔진 답변에서 노출되는 정도가 크게 올라갔어요. 논문 기준으로 최대 40% 안팎까지 개선됐고요. 반대로 키워드를 억지로 채워 넣는 옛날식 SEO 수법은 별 효과가 없었어요.
왜 숫자가 잘 인용될까요?
AI 검색은 보통 RAG(검색 증강 생성) 방식으로 동작해요. 이게 뭐냐면, 질문이 들어오면 먼저 웹에서 관련 문서를 찾아오고, 그 문서 조각을 LLM에게 참고 자료로 쥐여준 뒤 답변을 쓰게 하는 구조예요. 오픈북 시험이라고 생각하면 쉬워요.
LLM 입장에서 '개발자의 73%가 AI 코딩 도구를 쓴다' 같은 문장(지어낸 예시예요)은 정말 쓰기 좋은 재료예요. 구체적이고, 짧고, 질문에 바로 답이 되고, 출처를 달기도 쉽거든요. 문제는 LLM에게는 그 73%가 진짜인지 검증할 능력이 없다는 거예요. 표본이 몇 명이었는지, 방법론이 뭔지는 따지지 않아요. 그럴듯한 숫자에 출처만 붙어 있으면 인용 후보가 돼요.
진짜 무서운 건 순환 인용
여기서 한 발짝 더 나가면 문제가 커져요. 어떤 숫자가 AI 답변에 인용되면, 그 답변을 참고해서 블로그 글이나 기사를 쓰는 사람이 생겨요. 그러면 그 숫자가 실린 웹페이지가 늘어나고, AI는 '여러 출처에서 확인된 숫자'라며 더 확신을 갖고 인용하죠. 출처가 단 하나뿐인 검증 안 된 수치가 이렇게 업계 상식처럼 굳어버려요. xkcd 만화에서 나온 citogenesis(인용 발생) 라는 말이 바로 이 현상을 가리키는데, LLM은 이 순환을 훨씬 빠르고 넓게 돌려버려요.
학습 데이터 쪽에서도 비슷한 경고가 나왔어요. 2025년 Anthropic이 영국 AI 보안연구소 등과 함께 낸 연구에 따르면, 모델 크기와 상관없이 수백 개 수준의 악의적인 문서만으로도 특정 트리거 문구에 반응하는 백도어를 모델에 심을 수 있었어요. 검색 단계든 학습 단계든, 웹에 뿌려진 콘텐츠가 AI가 아는 '사실'을 오염시킬 수 있다는 얘기예요.
한국 개발자에게 주는 시사점
RAG 서비스를 만든다면 출처 품질 관리가 핵심 기능이라는 걸 기억하세요. 검색 결과를 그대로 LLM에 밀어 넣지 말고, 도메인 신뢰도와 원출처 여부, 발행일을 점수에 반영하는 게 좋아요. 숫자가 들어간 답변이라면 그 숫자의 1차 출처까지 추적해서 보여주면 신뢰도가 확 달라져요.
콘텐츠를 만드는 입장이라면 이 전략 자체가 나쁜 건 아니에요. 직접 측정한 데이터나 벤치마크 결과를 방법론과 함께 공개하면 커뮤니티에 정말 도움이 되고, AI 인용이라는 보상도 따라와요. 다만 표본 크기와 측정 방법을 투명하게 밝히는 건 최소한의 예의예요.
읽는 입장이라면 AI가 '연구에 따르면 몇 퍼센트'라고 말할 때 원문 링크를 한 번은 눌러보는 습관이 필요해요. 검색마다 AI 요약이 붙는 요즘, 숫자 하나 확인하는 30초가 잘못된 기술 결정을 막아줄 수 있거든요.
마무리
한 줄 정리: AI는 그럴듯한 숫자를 좋아하지만 그 숫자가 진짜인지는 몰라요. 그 빈틈을 메우는 건 결국 서비스를 만드는 개발자와 읽는 사람의 몫이에요.
여러분은 AI 답변에 나온 통계를 얼마나 믿으시나요? RAG를 운영하는 분들은 출처 신뢰도를 어떻게 걸러내고 계신지 노하우도 궁금해요!
🔗 출처: Hacker News