알고리즘 대신 개발자들의 추천으로 만든 유튜브
안드레이 카파시(Andrej Karpathy)가 자기 블로그에 HackerTube라는 프로젝트를 공개했어요. 카파시는 OpenAI 창립 멤버이고, 테슬라에서 오토파일럿 AI를 이끌었던 사람이에요. 요즘은 친절한 AI 강의 영상과 ‘바이브 코딩’이라는 말을 처음 퍼뜨린 사람으로도 유명하죠. HackerTube는 한 문장이면 설명돼요. 해커뉴스(Hacker News, 이하 HN)에서 사람들이 추천하고 공유한 유튜브 영상만 모아서, 유튜브처럼 둘러볼 수 있게 만든 사이트예요.
이게 왜 재밌냐면요, 우리가 평소 보는 유튜브 첫 화면은 추천 알고리즘이 정해주거든요. 이 알고리즘은 시청 시간 같은 지표를 중요하게 봐요. 그래서 자극적인 썸네일이나 끝까지 붙잡아 두는 영상이 유리하죠. 반면 HN 댓글에 누군가 “이 강연은 꼭 보세요”라고 남겼다면, 그건 진짜 도움이 됐다는 신호에 가까워요. 기계의 예측 대신 사람들의 추천을 필터로 쓰는 셈이에요.
이런 서비스는 어떻게 만들어질까
카파시가 실제로 어떻게 구현했는지와 별개로, 이런 서비스의 뼈대는 생각보다 단순해요. 크게 다섯 단계로 나눌 수 있어요.
1. 데이터 수집: HN은 공식 API를 제공하고, Algolia가 운영하는 검색 API도 있어요. 구글 BigQuery에는 HN 데이터가 공개 데이터셋으로 올라가 있어서 수천만 건의 글과 댓글을 비교적 쉽게 다룰 수 있어요.
2. 링크 추출: 본문에서 youtube.com/watch?v=나 youtu.be/ 형태의 링크를 찾아 영상 ID만 뽑아요. 같은 영상이라도 링크 모양이 제각각이라 ID 기준으로 정리하는 게 중요해요.
3. 메타데이터 붙이기: YouTube Data API로 제목, 채널, 영상 길이, 썸네일을 가져와요.
4. LLM으로 맥락 읽기: 여기가 핵심이에요. 링크가 있다고 다 추천은 아니거든요. “이 영상 완전 엉터리예요”라는 댓글에도 링크는 붙어 있으니까요. 그래서 댓글을 LLM한테 읽혀서 추천인지 비판인지, 무슨 주제인지, 왜 추천했는지를 뽑아내요.
5. 랭킹과 화면: 언급 횟수, 언급된 기간, 스레드 성격 같은 걸 조합해 순위를 매기고, 유튜브 같은 화면으로 보여주면 돼요. 참고로 HN API는 댓글 점수를 공개하지 않아요. 그래서 댓글이 얼마나 공감을 받았는지는 알 수 없고, 다른 신호들을 잘 엮어서 써야 해요.
4번이 바로 LLM이 판을 바꾼 부분이에요. 이게 뭐냐면, 사람이 자유롭게 쓴 글(비정형 데이터)을 표처럼 정리된 데이터(구조화 데이터)로 바꾸는 작업이에요. 예전엔 키워드 규칙을 수백 개 만들거나 분류 모델을 따로 학습시켜야 했어요. 이제는 프롬프트 몇 줄이면 꽤 괜찮은 결과가 나와요. 몇 주짜리 프로젝트가 주말 프로젝트가 된 거죠.
업계 흐름에서 보면
사람들의 추천을 모아 콘텐츠를 거르는 것 자체는 새로운 아이디어가 아니에요. 예전의 del.icio.us 같은 소셜 북마크나 GitHub의 ‘awesome 리스트’도 같은 철학이었어요. 차이는 누가 정리하느냐예요. awesome 리스트는 누군가 손으로 계속 관리해야 해서, 관리자가 지치면 멈춰요. HackerTube 방식은 이미 쌓여 있는 대화 기록에서 추천을 자동으로 뽑아내요. 그래서 십수 년치 집단지성을 한 번에 정리할 수 있죠.
눈여겨볼 흐름이 하나 더 있어요. 나 혼자 쓰려고 만드는 소프트웨어가 아주 쉬워졌다는 거예요. 거창한 제품이 아니어도, 내가 보고 싶은 걸 LLM과 함께 빠르게 만들어서 공개하는 거죠. 벌써 같은 방식으로 HN에서 언급된 책을 모은 HackerBooks 같은 파생 프로젝트도 나왔어요. 아이디어 하나가 며칠 만에 여러 갈래로 리믹스되는 속도, 이게 요즘 분위기예요. 물론 한계도 있어요. 결국 HN 이용자들의 취향이 그대로 들어가거든요. 미국 테크 업계와 영어권 콘텐츠 중심의 시각이요.
한국 개발자에게 주는 시사점
첫째, 바로 따라 만들어볼 수 있는 좋은 학습 프로젝트예요. 데이터 수집과 정제, LLM 추출, 간단한 프론트엔드까지 한 사이클을 전부 경험할 수 있거든요. 비용이 걱정되면 분류 같은 단순 작업은 작은 모델에 맡기세요. 배치 API로 몰아서 처리하면 꽤 저렴하게 돌릴 수 있어요.
둘째, 한국 커뮤니티 버전도 상상해볼 수 있어요. GeekNews나 OKKY 같은 곳에서 추천된 영상과 강연만 모으면, 한국어 콘텐츠를 찾는 사람들에게 꽤 쓸모 있을 거예요. 다만 각 서비스의 이용 약관과 크롤링 정책은 먼저 확인하세요. 그리고 콘텐츠를 복제하지 말고 링크만 걸어서 원작자에게 트래픽이 가게 하는 게 기본 매너예요.
셋째, 회사 안에서도 응용할 수 있어요. 팀 슬랙 채널에 몇 년간 공유된 링크를 모아서 ‘우리 팀 추천 자료 아카이브’를 만드는 거예요. 신규 입사자 온보딩 자료로 그만이거든요.
마무리
HackerTube의 핵심은 알고리즘 대신 사람들의 진심 어린 추천을 필터로 썼다는 것, 그리고 LLM 덕분에 그게 주말 프로젝트가 됐다는 거예요.
여러분이 지금까지 본 개발 영상 중에 “이건 무조건 봐야 해”라고 추천하고 싶은 영상은 뭔가요? 한국 커뮤니티 버전을 만든다면 어떤 데이터로 만들어 보고 싶으세요?
🔗 출처: Hacker News