성능을 측정할 때 흔히 던지는 질문이 하나 있다. 벤치마크를 대체 얼마나 오래 돌려야 하는가. 몇 초면 되는지, 아니면 수십 초 동안 반복 측정해 평균을 내야 하는지 명확한 기준을 잡기 어렵다. 러스트 애널라이저(rust-analyzer) 개발로 잘 알려진 엔지니어 matklad는 이 물음에 의외로 짧은 답을 내놓는다. 입력 크기를 조절해 벤치마크 한 번이 대략 300밀리초가 걸리도록 맞추라는 것이다. 이 짧은 기준의 배경에는 벤치마킹이라는 작업을 바라보는 특정한 관점이 깔려 있다.
측정이 아니라 판단을 위한 벤치마크
핵심 전제는 마이크로 벤치마크의 목적이 성능을 정밀하게 수치화하는 데 있지 않다는 것이다. 저자는 벤치마크의 진짜 역할을 '작성자가 올바른 결정을 내리기에 충분한 직관을 확보하는 것'으로 본다. 다시 말해 코드를 이렇게 바꾸면 빨라지는가 느려지는가, 두 구현 중 어느 쪽이 나은가를 개발자가 감으로 가늠할 수 있게 해 주면 그것으로 소임을 다한다는 얘기다. 소수점 아래 자릿수까지 정확한 절대 수치를 뽑아내는 것은 애초에 목표가 아니다.
이 구분은 생각보다 실무에서 중요하다. 벤치마크 결과를 성능 회귀를 감시하는 공식 지표로 쓸 것인지, 아니면 개발 중 빠르게 의사결정을 돕는 도구로 쓸 것인지에 따라 요구되는 엄밀함의 수준이 완전히 달라지기 때문이다. 전자라면 측정 환경을 고정하고 통계적 신뢰 구간까지 따져야 하지만, 후자라면 '어느 쪽이 확연히 빠른가'만 분별할 수 있으면 된다. 300밀리초라는 숫자는 바로 이 후자의 쓰임새를 전제로 나온 값이다.
왜 하필 300밀리초인가
이 구간은 두 가지 상반된 요구 사이의 절충점으로 이해할 수 있다. 너무 짧으면 측정 자체가 문제가 된다. 실행 시간이 수 마이크로초 단위로 떨어지면 타이머의 해상도, 캐시 상태, 운영체제 스케줄링 같은 잡음이 결과를 뒤흔들어 두 버전의 차이가 노이즈에 묻혀 버린다. 반대로 한 번 돌리는 데 수 초가 걸리면 측정 신뢰도는 올라가지만 개발자가 코드를 고치고 다시 재볼 때마다 기다려야 하는 시간이 길어진다. 벤치마크가 느려질수록 '한 번 더 돌려 보자'는 심리적 비용이 커지고, 결국 측정과 수정을 반복하는 피드백 루프가 끊긴다.
300밀리초는 사람이 '거의 즉각적'이라고 느끼는 체감 한계에 가깝다. 이 정도면 결과를 보고 코드를 고친 뒤 다시 돌리는 과정을 거의 대화하듯 이어갈 수 있다. 동시에 수백 밀리초면 대부분의 마이크로 벤치마크에서 일시적 잡음을 가리고 유의미한 차이를 드러내기에 부족하지 않은 길이다. 즉 신뢰할 만한 신호를 얻는 데 필요한 최소 시간과, 반복 작업의 흐름을 끊지 않는 최대 시간이 겹치는 지점이 이 근방이라는 직관이다.
여기서 눈여겨볼 대목은 시간을 맞추는 방법이다. 측정 코드를 그대로 두고 반복 횟수만 늘리는 것이 아니라 입력 크기를 조절한다는 점이다. 처리할 데이터의 양을 키우거나 줄여 전체 실행이 목표 시간에 수렴하도록 만드는 방식인데, 이렇게 하면 실제 작업에 가까운 규모에서 동작을 관찰하면서도 측정 시간을 일정하게 통제할 수 있다.
실무에 옮길 때의 쓸모와 한계
이 규칙의 매력은 단순함에 있다. 벤치마크 프레임워크의 복잡한 설정을 파고들기 전에, 입력 크기를 손으로 몇 번 조절해 300밀리초 언저리에 맞추는 것만으로도 꽤 쓸 만한 측정 환경이 만들어진다. 특히 알고리즘이나 자료구조의 두 구현을 저울질하는 단계, 리팩터링이 성능을 깎아먹지 않았는지 빠르게 확인하는 상황처럼 '정확한 수치보다 방향성이 중요한' 국면에서 유용하다.
다만 이 기준이 만능은 아니라는 점은 분명히 해 둘 필요가 있다. 애초에 전제가 '올바른 결정을 위한 직관'인 만큼, 성능 회귀를 자동으로 잡아내는 CI 지표나 외부에 공표하는 공식 성능 수치처럼 재현성과 엄밀함이 생명인 영역에는 그대로 적용하기 어렵다. 또한 입력 크기를 키워 시간을 맞추는 방식은 캐시 동작이나 메모리 접근 패턴이 입력 규모에 따라 달라지는 작업에서는 실제 사용 환경과 다른 양상을 보일 수 있다. 결국 300밀리초라는 숫자 자체보다, 벤치마크를 '정밀 계측기'가 아니라 '빠른 의사결정 도구'로 규정한 발상의 전환이 이 조언의 알맹이다. 측정의 목적을 먼저 정하면 얼마나 오래 돌릴지는 그에 따라 자연스럽게 따라온다.