해커뉴스 18년치 댓글을 전부 색인했더니, 'HN판 구글 트렌드'가 나왔다

18년치 대화를 검색 가능하게 만든다는 발상

해커뉴스(Hacker News, 줄여서 HN)는 전 세계 개발자와 창업자들이 모이는 기술 커뮤니티예요. 2007년에 시작했으니 벌써 18년 넘게 쌓인 어마어마한 대화 더미가 있죠. 그런데 정작 "사람들이 React를 언제부터 많이 얘기하기 시작했지?", "Rust 언급량이 Go를 언제 추월했지?" 같은 걸 궁금해해도 답을 찾기가 어려웠어요. 이걸 정면으로 해결한 프로젝트가 나왔는데요, 한마디로 '해커뉴스용 구글 트렌드'예요.

구글 트렌드가 뭐냐면, 특정 검색어가 시간에 따라 얼마나 많이 검색됐는지 그래프로 보여주는 서비스잖아요. 이 프로젝트는 그걸 검색어 대신 해커뉴스 댓글 속 단어로 한 거예요. 어떤 키워드가 몇 년 몇 월에 얼마나 많이 언급됐는지 시계열 그래프로 보여주는 거죠.

18년치 댓글을 색인한다는 게 왜 어려운 일이냐면

그냥 텍스트 검색처럼 들리지만 규모가 만만치 않아요. 해커뉴스에는 수천만 건의 댓글이 쌓여 있거든요. 이걸 전부 가져와서(다행히 HN은 공식 API와 데이터 덤프를 제공해요), 단어 단위로 쪼개고, '언제 올라온 댓글에 이 단어가 몇 번 나왔는지'를 월별·연도별로 집계해서, 사용자가 검색하면 즉시 그래프가 뜨도록 미리 계산해 둬야 해요.

여기서 '색인(indexing)'이라는 개념이 등장하는데요. 색인이 뭐냐면, 책 맨 뒤에 있는 '찾아보기'를 떠올리면 돼요. "이 단어는 몇 페이지에 나옵니다"를 미리 정리해두면, 책 전체를 처음부터 끝까지 읽지 않고도 원하는 단어를 바로 찾을 수 있잖아요. 검색 엔진도 똑같아요. 수천만 댓글을 매번 전부 훑으면 느려 터지니까, 단어 → 등장 시점·횟수를 미리 표로 만들어두는 거예요. 그래야 검색 한 번에 그래프가 번쩍 뜨거든요.

이런 '키워드 시계열'이 재밌는 이유

단순히 신기한 장난감이 아니에요. 기술 키워드의 등장과 소멸을 그래프로 보면 업계의 진짜 흐름이 보이거든요. 예를 들어 'blockchain' 언급량이 2017~2018년에 치솟았다가 가라앉고, 'LLM'이나 'agent' 같은 단어가 최근 몇 년 사이 가파르게 올라오는 식이죠. 어떤 단어가 거품이었고, 어떤 단어가 진짜로 자리를 잡았는지가 데이터로 드러나요.

비슷한 시도들과 비교하면

사실 텍스트의 시간적 변화를 추적하는 시도는 예전부터 있었어요. 가장 유명한 게 구글 북스 Ngram Viewer인데, 수백 년치 책에서 단어 빈도를 보여주는 서비스예요. 학계에서는 이런 걸 '계량 문화학(culturomics)'이라고 불러요. 또 검색량 기반으로는 구글 트렌드가 있고요.

이 프로젝트가 특별한 건, 대상이 기술 커뮤니티의 진솔한 대화라는 점이에요. 검색량은 '궁금해서 찾아본' 데이터지만, 댓글은 '실제로 그 기술을 쓰거나 논쟁한' 사람들의 목소리거든요. 그래서 신호의 질이 달라요. 마케팅 거품과 현장의 실제 채택을 구분하는 데 훨씬 유용하죠.

한국 개발자에게 주는 시사점

두 가지로 와닿아요. 첫째, 만드는 방법론 자체가 좋은 공부예요. 공개 API로 데이터를 긁어오고, 전처리해서 색인을 만들고, 시계열로 집계해 시각화하는 이 파이프라인은 사이드 프로젝트의 정석이거든요. 똑같은 구조를 한국 커뮤니티(예: GeekNews나 특정 오픈 데이터)에 적용해보면 그 자체로 멋진 포트폴리오가 돼요.

둘째, 기술 선택의 근거로 써먹을 수 있어요. 새 프레임워크 도입을 팀에 제안할 때, "감으로 뜨는 것 같아요"보다 "언급량이 2년째 우상향이고 경쟁 기술 대비 추월했어요"가 훨씬 설득력 있잖아요. 물론 영어권 커뮤니티 데이터라 한국 상황과 시차가 있다는 점은 감안해야 하고요.