1인 개발자가 6개월 만에 만든 인프라 전문 미디어의 데이터 파이프라인

소프트웨어 인프라를 다루는 독립 매체 '더 컨센서스(The Consensus)'가 출범 6개월을 결산하는 회고를 공개했다. 이 사이트는 2026년 2월 시작된 부트스트랩 프로젝트로, 특정 소프트웨어 벤더로부터 독립적으로 운영된다. 운영자는 유료로 글을 기고하는 필자들을 제외하면 사실상 혼자다. 6개월 동안 6명의 필자가 28편의 기사를 냈다는 규모 자체는 크지 않지만, 이 회고가 한국 실무자에게 흥미로운 이유는 매체의 정체성이 '기사'에만 있지 않기 때문이다. 운영자는 인프라 분야 개발자에게 기술적 의사결정과 커리어에 도움이 되는 도구와 데이터를 함께 제공하겠다는 목표를 내세웠고, 지난 반년의 변화는 대부분 그 데이터 인프라를 쌓아 올리는 과정이었다.

수작업에서 전용 서버까지, 채용 인덱싱의 스케일업

가장 극적인 변화는 채용 정보 인덱싱이다. 사이트를 처음 열었을 때 등록된 채용 공고는 9건에 불과했고, 4월 초에야 겨우 100건을 넘겼다. 이는 전부 수작업이었다. 그러다 4월 중순 운영자가 자신의 노트북에서 돌리는 첫 자동화를 도입하자 인덱싱된 공고는 1,000건을 돌파했고, 7월에 인덱싱 전용 서버로 옮기면서 2만 건을 넘어섰다. 이 가운데 약 1만 건이 프로그래밍이나 엔지니어링 관리 직군과 직접 관련된 것이고, 그중 약 7,000건이 현재 활성 상태다. 지역 분포는 약 절반이 북미, 약 4분의 1이 유럽이다. 수작업에서 노트북 스크립트를 거쳐 전용 서버로 넘어가는 이 궤적은, 개인 프로젝트가 데이터 규모의 벽에 부딪힐 때 밟게 되는 전형적인 인프라 진화 과정을 압축해 보여준다.

기술 스택은 대부분 직접 구현됐다. 결제, 이메일, 분석 정도만 외부에 의존하고, 사용자에게 보이는 UI는 Go와 PostgreSQL로, 인덱싱 파이프라인은 Go와 파이썬, SQLite로 구성됐다. 서비스용 데이터베이스와 백엔드 처리용 저장소를 분리한 이 선택은 읽기 중심의 웹 트래픽과 대량 배치 인덱싱이라는 서로 다른 부하 특성을 각각에 맞는 도구로 나눠 감당하려는 실용적 판단으로 읽힌다.

머신러닝은 최소한으로, 규칙은 정적으로

주목할 만한 대목은 데이터 큐레이션 방식이다. '피드(feed)'는 이 매체가 인덱싱하는 600곳 이상의 기업, 400개 이상의 프로젝트, 80명 이상의 개발자가 지난 5년간 발행한 글을 기계적으로 선별한 목록이다. 지금까지 방문한 35만 건의 글 가운데 3만 건이 피드 기준을 통과했다. 흥미롭게도 이 선별의 핵심은 머신러닝이 아니라 대부분 정적인 규칙(static guards)이다. 머신러닝이 쓰이는 유일한 지점은 약 40개 주제 중 하나로 글에 카테고리를 선택적으로 부여할 때다. 덕분에 '합의 및 복제 프로토콜'이나 '정형 기법과 검증' 같은 주제로 글을 걸러 볼 수 있고, 같은 분류가 채용 공고에도 적용돼 '컴파일러 및 코드 생성' 같은 조건으로 일자리를 찾을 수 있다. AI를 전면에 내세우기보다 규칙 기반 필터링을 뼈대로 삼고 분류에만 머신러닝을 얹은 이 절제된 설계는, 신뢰할 수 있는 결과가 필요한 큐레이션에서 되새길 만한 접근이다.

피드에 들어온 글에서는 추적 대상 프로젝트에 대한 링크와 언급을 추출해 '가장 인기 있는 프로그래밍 언어'나 '가장 인기 있는 데이터베이스' 같은 순위 페이지를 만든다. 여기서 순위의 정의가 명확하다는 점이 중요하다. 피드에 진입한 글만 집계 대상이고, 기업 자신과 그 인수 기업·모회사·계열사의 자기 언급은 제외된다. 즉 이 순위는 '인프라 기업 개발자들이 깊이 있게 가장 많이 이야기하는 프로젝트'라는 구체적 의미를 갖는다. 최근에는 피드에 들어온 모든 글을 대상으로 백링크 검색 기능도 추가돼, 예를 들어 특정 프로젝트를 링크한 모든 글을 찾아볼 수 있게 됐다.

구독 구조와 실무적 함의

수익 모델도 명확하다. 기사는 발행 시 유료화되지만 1~2주 안에 페이월이 풀리며, 'WasmGC in Wasmtime'처럼 Exclusive로 표시된 일부 글만 상위 등급인 스탠더드 구독자에게 영구히 예약된다. 모든 유료 구독자는 댓글 기능과, 한 구독자의 제안에서 나온 포커스 모드 UI를 쓸 수 있고, 채용·펀딩·피드에 대한 필터를 만들 수 있다. 스탠더드 등급은 월 2회 기프트 링크와 더불어 필터를 동적 RSS 피드나 이메일 알림으로 전환하는 기능을 갖는다.

이 회고가 주는 실무적 교훈은 콘텐츠보다 오히려 운영 구조에 있다. 1인 운영자가 자체 구축한 파이프라인으로 수십만 건의 데이터를 인덱싱하고, 정적 규칙과 최소한의 머신러닝을 결합해 신뢰 가능한 큐레이션을 만들며, 필터를 RSS·알림 같은 지속 가능한 워크플로로 연결한 방식은 규모가 작은 팀도 참고할 만하다. 다만 한계도 분명하다. 필터링 규칙과 순위의 기준은 운영자 한 사람의 판단에 크게 의존하고, 채용 데이터는 북미와 유럽에 편중돼 아시아권 실무자에게는 직접적 활용도가 떨어진다. 그럼에도 데이터 파이프라인을 어떻게 점진적으로 키우고 정의를 명확히 유지하는지를 보여주는 사례로서, 개인 프로젝트를 제품으로 키우려는 개발자에게는 구체적인 참고점이 된다.