무슨 일이 있었냐면요
분석용 데이터베이스로 유명한 ClickHouse가 'PostgresBench'라는 걸 공개했어요. 이름 그대로 PostgreSQL 기반 서비스들을 측정하는 벤치마크인데, 핵심 키워드가 '재현 가능(reproducible)'이라는 점이에요. 측정 방법, 스크립트, 환경을 전부 공개해서 누구나 똑같이 돌려보고 같은 결과를 확인할 수 있게 만들었다는 거예요.
왜 이게 화두냐면요. 데이터베이스 업계에서 벤치마크 숫자만큼 못 믿을 게 또 없거든요. 벤더(제품 파는 회사)가 '우리가 경쟁사보다 3배 빠르다'고 발표하면, 자기들한테 유리한 조건만 골라 측정한 경우가 너무 많아요. 그래서 '믿어달라'가 아니라 '직접 돌려보라'는 식으로 방법까지 통째로 공개한 게 이번의 의미예요.
재현 가능한 벤치마크가 뭐냐면
주니어 분들을 위해 풀어볼게요. 벤치마크는 데이터베이스에 일부러 잔뜩 일을 시켜서 '초당 몇 건 처리하는지', '응답이 얼마나 빠른지'를 재는 시험이에요. 그런데 같은 시험도 조건이 조금만 달라지면 점수가 확 바뀌어요. 서버 사양, 동시에 접속하는 사용자 수, 데이터 양, 캐시 상태 같은 게 다 변수거든요.
그래서 '재현 가능하다'는 건, 이 변수들을 전부 명시하고 자동화해서 남이 따라 해도 같은 결과가 나오게 한다는 뜻이에요. 마치 요리 레시피를 '적당히 소금 조금'이 아니라 '소금 3g, 물 200ml, 5분간 중불'처럼 정확히 적어두는 거랑 비슷해요. 그래야 누가 만들어도 같은 맛이 나니까요. PostgresBench는 측정 대상이 단순히 Postgres 엔진 하나가 아니라, AWS RDS·Aurora, Supabase, Neon처럼 '관리형 Postgres 서비스'들이라는 점도 포인트예요. 같은 Postgres라도 어느 회사 서비스로 돌리느냐에 따라 성능과 동작이 다르거든요.
살짝 짚고 넘어갈 점
재밌는 건, 이걸 만든 ClickHouse가 Postgres와 경쟁 관계에 있는 분석 DB 회사라는 거예요. 그래서 '경쟁사가 만든 벤치마크를 곧이곧대로 믿어도 되나' 하는 의심은 당연히 할 수 있어요. 다만 역설적으로, 방법을 전부 공개했기 때문에 '편향됐다면 어디가 편향됐는지 남들이 검증할 수 있다'는 게 재현 가능 벤치마크의 장점이에요. 숨기는 것보다 투명하게 까놓고 두들겨 맞는 쪽을 택한 셈이죠.
업계 맥락에서 보면
ClickHouse는 예전에도 'ClickBench'라는 분석 쿼리 벤치마크를 공개해서 여러 DB를 한 표에 줄 세운 적이 있어요. 이번 PostgresBench도 그 연장선이에요. 한편 데이터베이스 벤치마크의 고전으로는 거래 처리를 흉내 내는 TPC-C나, 흔히 쓰는 sysbench 같은 도구가 있는데, 문제는 이걸 각자 입맛대로 변형해 발표하는 경우가 많다는 거였어요. '공개된 표준 방법 + 자동화 + 관리형 서비스 비교'를 묶었다는 점에서 PostgresBench는 그 혼란을 줄여보려는 시도로 볼 수 있어요.
한국 개발자에게는
실무에서 바로 와닿아요. 스타트업이든 큰 회사든 'Postgres를 RDS로 쓸까, Aurora로 쓸까, 아니면 Supabase·Neon 같은 신생 서비스로 갈까'를 고민하는 순간이 오잖아요. 이때 벤더 마케팅 자료 대신, 공개된 방법론을 우리 워크로드에 맞춰 직접 돌려보고 판단하는 게 훨씬 믿음직해요. 더 중요한 건, 남의 벤치마크를 읽는 안목이에요. 앞으로 어떤 성능 자랑 글을 보든 '이거 조건이 명시돼 있나? 내가 재현할 수 있나?'를 먼저 따지는 습관을 들이면, 잘못된 기술 선택으로 고생할 일이 확 줄어요.
마무리
핵심은 이거예요. 믿어달라는 벤치마크 대신, 직접 돌려보라는 벤치마크가 나왔다. 여러분은 DB나 인프라를 고를 때 벤더가 내건 숫자를 어디까지 믿으시나요? 그리고 '경쟁사가 만든 벤치마크'라는 점은 신뢰에 플러스일까요, 마이너스일까요?
🔗 출처: Hacker News