DB 강의의 전설, CMU 앤디 파블로 교수가 ClickHouse Labs를 세우러 갑니다

데이터베이스를 공부해 본 분이라면 CMU(카네기멜론대)의 데이터베이스 강의를 한 번쯤 들어보셨을 텐데요. 유튜브에 전부 무료로 공개돼 있는 15-445 'Intro to Database Systems' 강의 말이에요. 그 강의의 주인공인 앤디 파블로(Andy Pavlo) 교수가 ClickHouse에 합류해서 'ClickHouse Labs'라는 연구 조직을 새로 만든다는 소식이 나왔어요. 학계를 대표하는 데이터베이스 연구자가 지금 가장 뜨거운 분석 DB 회사와 손을 잡은 셈이라, 데이터 쪽에 관심 있는 분들이라면 눈여겨볼 만한 뉴스예요.

앤디 파블로가 누구냐면

파블로 교수는 데이터베이스 내부 구조 교육에 관한 한 사실상의 업계 표준을 만든 인물이에요. 버퍼 풀, B+트리, 쿼리 옵티마이저 같은 DB 핵심 개념을 제대로 배우고 싶을 때 전 세계 개발자들이 가장 먼저 찾는 게 그의 공개 강의거든요. 강의뿐만이 아니에요. 세상의 온갖 DBMS를 정리해 놓은 'Database of Databases(dbdb.io)'를 운영하고, 매년 연말에 데이터베이스 업계 전체를 총정리하는 회고 글을 쓰는 걸로도 유명하죠. 머신러닝으로 데이터베이스 설정을 자동 튜닝해 주는 스타트업 OtterTune을 직접 창업해 운영해 본 경험도 있어요(이 회사는 2024년에 문을 닫았어요). 연구와 교육, 창업까지 두루 거친, 스스로 말하듯 '데이터베이스에 진심인' 사람이에요.

ClickHouse는 어떤 DB인가

ClickHouse가 뭔지도 짚고 갈게요. 이게 뭐냐면, 분석용 쿼리에 특화된 오픈소스 컬럼 지향(columnar) 데이터베이스예요. MySQL이나 Postgres 같은 일반적인 DB는 데이터를 '행' 단위로 저장하는데, ClickHouse는 '열' 단위로 저장해요. 엑셀로 비유하면, "전체 주문의 평균 금액"을 구할 때 모든 행을 일일이 읽는 대신 '금액' 열 하나만 쭉 읽으면 되는 구조인 거죠. 여기에 데이터를 뭉텅이로 한꺼번에 처리하는 벡터화 실행과 강력한 압축이 더해져서, 수십억 건의 로그를 몇 초 안에 집계하는 성능이 나와요. 원래 러시아 얀덱스가 자사 웹 분석 서비스를 위해 만들었다가 2021년에 별도 회사로 분사했고, 이후 대규모 투자를 받으며 분석 DB 시장의 핵심 플레이어로 성장했어요.

이번에 만들어지는 ClickHouse Labs는 학계의 연구와 실제 제품 엔지니어링 사이에 다리를 놓는 연구 조직이에요. 대학 연구실에서 나온 최신 데이터베이스 연구가 실제 제품에 반영되기까지는 보통 수년이 걸리는데, 회사 안에 연구 조직을 두는 방식으로 이 간극을 좁혀 보겠다는 거죠. 파블로 교수 입장에서는 실제 대규모 프로덕션 워크로드와 성숙한 엔진 코드베이스를 연구 무대로 확보하는 셈이고, ClickHouse 입장에서는 최고 수준의 연구 역량과 함께 전 세계 DB 인재를 끌어들일 자석을 얻는 셈이에요.

업계 흐름에서 보면

사실 '학계와 산업의 결합'은 데이터베이스 업계의 오래된 성공 공식이에요. Databricks는 UC 버클리 연구실에서 만든 Spark가 회사로 이어진 경우고, 요즘 인기 있는 DuckDB는 네덜란드 국립 연구소 CWI에서 탄생했죠. 마이크로소프트도 오래전부터 데이터베이스 연구 조직을 운영해 왔고요. 지금 분석 DB 시장은 Snowflake, Databricks, BigQuery 같은 대형 클라우드 플랫폼과 DuckDB 같은 경량 임베디드 엔진, 그리고 ClickHouse, StarRocks, Apache Doris 같은 실시간 분석 엔진들이 치열하게 경쟁하는 판이에요. 특히 AI 시대가 되면서 로그, 메트릭, 트레이스 같은 관측 데이터가 폭증하고, LLM 에이전트가 직접 분석 쿼리를 날리는 워크로드까지 생기면서 빠른 분석 엔진의 가치가 계속 오르는 중이거든요. 이 시점에 연구 조직을 세운다는 건, 단기 기능 경쟁을 넘어 엔진의 근본 기술력으로 승부하겠다는 신호로 읽혀요.

한국 개발자에게는

국내에서도 광고, 게임, 커머스 쪽에서 로그와 이벤트 분석용으로 ClickHouse를 도입하는 회사가 꾸준히 늘고 있어요. Postgres 하나로 분석 쿼리까지 버티다가 한계를 느끼는 팀이라면 한 번쯤 검토해 볼 가치가 있고요. 그리고 데이터베이스 내부 구조를 제대로 공부하고 싶다면, 파블로 교수의 15-445 강의는 지금도 최고의 무료 교재예요. 강의를 따라가며 직접 스토리지 엔진을 만들어 보는 과제(BusTub)까지 공개돼 있어서, 백엔드 개발자로서 한 단계 성장하고 싶은 분들께 진심으로 추천해요.

정리하면, DB 교육과 연구의 아이콘이 가장 주목받는 분석 DB 회사에서 연구 조직을 이끌게 됐다는 소식이에요. 여러분 팀은 분석 쿼리를 어디서 처리하고 계세요? Postgres로 버티기, ClickHouse 같은 전용 엔진 도입, 아니면 클라우드 데이터 웨어하우스 — 어떤 선택을 하셨는지, 그 이유도 궁금하네요.