데이터베이스 시스템 연구의 대표적 인물로 꼽히는 카네기멜런대학교(CMU)의 앤디 파블로(Andy Pavlo) 교수가 분석용 데이터베이스 기업 클릭하우스(ClickHouse, Inc.)에 합류해 새 연구 조직인 '클릭하우스 랩스(ClickHouse Labs)'를 설립하고 이끈다. 파블로 교수는 2013년부터 CMU 컴퓨터과학과에서 현대 DBMS 내부 구조를 연구해 왔으며, 산업계와 학계에서 새로 등장하는 모든 시스템을 추적하는 것을 원칙으로 삼아온 인물이다. 그가 특정 상용 벤더가 아니라 오픈소스 기반 분석 DBMS 기업으로 자리를 옮겼다는 점에서, 데이터베이스 업계와 실무자들이 주목할 만한 인사다.
파블로 교수는 2016년 6월 클릭하우스가 오픈소스로 처음 공개됐을 때를 회고하며, 당시엔 '실체 없는 과장(vaporware)'일 것이라 의심했다고 밝혔다. 그럴 만한 이유가 있었다. 2016년 시점에 클릭하우스는 C++로 작성돼 SIMD를 활용한 벡터화 쿼리 실행을 지원했는데, 이는 당시 소수의 폐쇄형 상용 분석 DBMS에서만 볼 수 있던 기능이었다. 반면 그 무렵 주요 오픈소스 분석 DBMS는 대부분 JVM 기반이었고 SIMD 최적화는 수년 뒤에야 도입됐다. 그는 이후 클릭하우스를 학술 연구에 밀접하게 활용해 왔으며, 2020년 팬데믹으로 데이터베이스 강의를 원격으로 전환하던 초기 강의 영상에서도 클릭하우스 티셔츠를 입고 있었다고 언급했다.
벽 너머로 던지지 않는 연구 조직
클릭하우스 랩스가 표방하는 방향성은 전통적인 기업 부설 연구소의 한계를 겨냥한다. 파블로 교수는 이 조직이 아이디어를 만들어 엔지니어링 팀에 '벽 너머로 던지는' 고립된 연구소로 운영되지 않을 것이라고 강조했다. 대신 클릭하우스 엔지니어, 고객, 협력자, 산업 파트너와 긴밀히 협력하며 새로운 아이디어를 개발하고 확산해 제품을 최전선에 유지하는 것이 목표다. 그가 벤치마크로 삼는 것은 IBM 리서치와 마이크로소프트 리서치처럼 기초 컴퓨터과학을 진전시키는 동시에 상용 제품에 영향을 주고 다음 세대 연구자를 길러낸 산업 연구 조직들이다. 학문적 가치가 있는 연구를 수행하고, 그중 가장 좋은 아이디어를 실제 사용자에게 의미 있는 기술로 전환하겠다는 것이 조직의 지향점이다.
주목할 부분은 랩스가 분석 워크로드에만 머무르지 않는다는 점이다. 클릭하우스의 PostgreSQL 팀과도 협력해, 성장 중인 매니지드 PostgreSQL 서비스가 성능과 안정성 면에서 시장 선도 위치에 오르도록 돕겠다고 밝혔다. PostgreSQL과 클릭하우스는 서로 다른 워크로드 요구를 충족하지만, 두 시스템의 조합은 트랜잭션(OLTP)과 분석(OLAP) 양쪽의 데이터베이스 문제를 폭넓게 연구할 수 있는 기반이 된다. 즉 분석 전용 벤더가 트랜잭션 영역까지 아우르는 연구 포트폴리오를 갖추게 된다는 의미다.
밀린 아이디어와 AI라는 두 갈래 과제
파블로 교수는 클릭하우스 엔지니어링 팀이 이미 자사 기술에 대한 깊이 있는 기술 자료를 꾸준히 발표해 왔다는 점을 높이 평가했다. 2021년 회사 설립 이후 엔지니어들이 DBMS 구현을 설명하는 상세한 글을 다수 내놓았고, 2024년에는 클릭하우스의 핵심 아키텍처를 다룬 VLDB 논문도 나왔다. 그는 이 자료들이 CMU 강의의 필독 자료로 지정할 만큼 충실하다고 평가한다. 동시에 엔지니어링 팀이 탐색은 했지만 검증과 프로덕션 반영까지는 시간이 없어 미뤄둔 아이디어와 최적화가 다수 쌓여 있다고 지적했다. 이 '백로그'를 검증하고 제품에 반영하는 과정을 가속하는 것이 그의 즉각적 우선순위 중 하나이며, 이를 발판 삼아 새로운 아이디어로 나아가겠다는 구상이다.
더 큰 연구 질문으로는 클릭하우스와 PostgreSQL 같은 DBMS가 새롭게 부상하는 AI 및 에이전트 기술과 어떻게 맞물릴지를 제시했다. 이 문제는 두 방향을 갖는다. 하나는 에이전트를 더 잘 지원하려면 DBMS가 어떤 모습이어야 하는가이고, 다른 하나는 에이전트가 DBMS 자체의 개발을 어떻게 개선하고 자동화할 수 있는가다. 새로운 하드웨어, 알고리즘, 자료구조, 실행 전략, 소프트웨어 구축·운영 방식까지 모든 것이 검토 대상이라고 그는 밝혔다. 아직 답을 갖고 있지 않으며 바로 그렇기에 연구라는 점을 인정하면서도, 클릭하우스가 견고한 관계형 모델 기반 위에 서 있다는 점이 이런 데이터 집약적 워크로드와 함께 진화하는 데 유리하다고 봤다.
실무자에게 주는 함의
국내 데이터 인프라 실무자 입장에서 이번 인사는 몇 가지 관점에서 읽을 만하다. 우선 클릭하우스가 단순 오픈소스 분석 엔진을 넘어 트랜잭션과 분석을 아우르는 장기 연구 로드맵에 투자하고 있다는 신호다. 백로그로 남아 있던 최적화들이 검증을 거쳐 순차적으로 제품에 반영된다면, 실사용 환경에서 체감할 성능·기능 개선으로 이어질 여지가 있다. 다만 파블로 교수 스스로 밝혔듯 AI·에이전트와의 결합은 아직 구체적 해법이 없는 연구 단계이며, 발표된 논문·기술 자료의 충실함과 별개로 실제 제품 반영 시점이나 구체적 성과는 제시되지 않았다. 따라서 당장의 도입 판단보다는, 분석 DBMS의 연구 방향과 관계형 모델을 기반으로 한 진화 경로를 가늠하는 참고점으로 삼는 편이 현실적이다.