영상 다음은 책이었어요
안드레이 카파시가 해커뉴스(Hacker News, 이하 HN)에서 추천된 유튜브 영상을 모아 HackerTube를 공개했는데요. 얼마 지나지 않아 같은 아이디어를 책에 적용한 HackerBooks가 나왔어요. 스스로를 ‘책 버전 HackerTube’라고 소개하는 사이트예요. HN 글과 댓글에서 언급된 책들을 한곳에 모아서 쭉 둘러볼 수 있게 만들었어요.
HN에는 원래 “당신의 생각을 바꾼 책은?”이나 “올해 읽은 최고의 기술 서적은?” 같은 스레드가 주기적으로 올라와요. 문제는 이런 보석 같은 추천이 수천 개의 댓글 속에 흩어져 있다는 거예요. 막상 찾으려면 검색을 몇 번이고 해야 하죠. HackerBooks는 이 흩어진 추천을 모아서 ‘개발자들이 실제로 많이 언급한 책’ 목록으로 만들어 줘요. 예전에도 비슷한 시도는 있었는데요, LLM이 나오면서 훨씬 정교하게 만들 수 있게 됐어요.
영상보다 책이 훨씬 어려운 이유
기술적으로 보면 책은 영상보다 훨씬 까다로워요. 유튜브 영상은 링크 안에 고유한 ID가 들어 있어서 정규식 한 줄이면 뽑아낼 수 있거든요. 그런데 책은 대부분 문장 속에 제목으로만 등장해요. 같은 책인데 누구는 “Designing Data-Intensive Applications”라고 쓰고, 누구는 “DDIA”, 또 누구는 “클레프만 책”이라고 불러요. SICP를 ‘마법사 책(wizard book)’이라고 부르는 사람도 있고요.
그래서 기술이 두 가지 필요해요.
- 개체명 인식(NER): 문장 속에서 ‘이건 책 이름이다’를 찾아내는 일
- 개체 연결(Entity Resolution): 서로 다르게 불리는 이름들이 사실 같은 책이라는 걸 알아보는 일
HackerBooks의 실제 구현은 다를 수 있지만, 이런 서비스를 만든다면 대략 이런 흐름이 될 거예요. 먼저 댓글을 LLM에 넣어서 언급된 책 제목, 저자, 그리고 추천인지 비판인지를 JSON 형태로 뽑아내요. 다음엔 Open Library나 Google Books 같은 도서 API로 검색해서 정식 제목과 ISBN에 맞춰요. ISBN은 책마다 붙는 고유 번호예요. 이렇게 하면 “DDIA”와 정식 제목이 같은 ISBN 아래로 묶여요. 마지막으로 언급 횟수와 맥락을 보고 순위를 매기면 돼요.
물론 함정도 많아요. “Dune”은 소설일 수도 있고 영화일 수도 있어요. “클린 코드는 과대평가됐다”는 댓글은 언급이긴 해도 추천은 아니잖아요. 그래서 이름이 몇 번 나왔는지 세는 것보다, 문맥상 추천인지 비판인지까지 읽어내는 게 품질을 가르는 포인트예요.
추천 횟수가 곧 좋은 책일까
Goodreads 같은 서평 사이트에서는 독자가 일부러 별점을 매겨요. 반면 HackerBooks 같은 방식은 대화 중에 자연스럽게 나온 언급을 모으죠. 리뷰를 쓰려고 마음먹지 않아도 되니까, 어떤 면에서는 더 솔직한 신호일 수 있어요.
다만 편향도 분명해요. 『맨먼스 미신』, SICP, 『괴델, 에셔, 바흐』 같은 고전은 고전이라는 이유만으로 계속 언급되는 경향이 있거든요. 끝까지 읽은 사람보다 언급만 하는 사람이 더 많을지도 몰라요. 게다가 HN 이용자는 미국 스타트업과 실리콘밸리 문화 쪽에 치우쳐 있어서, 그 시각이 순위에 그대로 들어가요. 그래서 이 순위는 정답이라기보다 ‘이 커뮤니티가 뭘 중요하게 여기는지’ 보여주는 지도로 읽는 게 좋아요.
한국 개발자에게 주는 시사점
먼저 독서 목록으로 활용하려면 한국어 번역본부터 찾아보세요. 『데이터 중심 애플리케이션 설계』, 『컴퓨터 프로그램의 구조와 해석』, 『맨먼스 미신』처럼 HN 단골 책은 상당수가 이미 번역돼 있거든요.
그리고 이건 엔티티 해결을 연습하기 좋은 사이드 프로젝트예요. 국내 커뮤니티 댓글로 만든다면 알라딘 Open API나 카카오 책 검색 API로 ISBN을 맞출 수 있어요. 한국어는 띄어쓰기가 제각각이고 ‘객사오’, ‘토비 스프링’ 같은 줄임말도 많아서 오히려 더 재밌는 도전이 될 거예요. 같은 대상을 가리키는 여러 이름을 하나로 묶는 이 기술은 실무에서도 그대로 써요. 쇼핑몰 상품 매칭이나 고객 데이터 통합 같은 데이터 엔지니어링 일이 다 이 문제거든요.
마무리
HackerBooks는 흩어진 대화 속 추천을 LLM으로 읽어서 정리한 사례예요. 핵심 난제는 같은 책을 같은 책으로 알아보는 일이고요.
여러분이 개발자로 지내면서 가장 많이 추천하게 되는 책은 뭔가요? 한국 개발자 커뮤니티 버전 HackerBooks를 만든다면 1위는 어떤 책일 것 같으세요?
🔗 출처: Hacker News