TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 41 READS

속도가 성능을 삼킨다: 제미나이 4 네온의 리더보드 추정치가 말하는 것

속도가 성능을 삼킨다: 제미나이 4 네온의 리더보드 추정치가 말하는 것
SOURCE IMAGE · HACKER NEWS

구글의 새 모델 '제미나이 4 네온'을 둘러싼 흥미로운 분석이 등장했다. 한 블로거는 네온이 공개된 당일, 아직 자체 리더보드에 충분한 대결 데이터가 쌓이기도 전에 네온의 예상 성능을 추정해 봤다. 결론은 네온이 '오푸스 5.5'와 사실상 동급의 경쟁 모델로 보인다는 것이다. 다만 이 결론에 이르는 과정이 단순한 벤치마크 점수 비교가 아니라, 응답 속도라는 변수를 성능의 핵심 요소로 끌어들였다는 점에서 실무자가 눈여겨볼 만하다.

카본의 발목을 잡은 것은 속도였다

배경부터 정리하면, 기존 모델인 '제미나이 4 카본'은 초기 투표 구간을 제외할 경우 에이전트 듀얼(Agent Duel) 리더보드에서 가장 좋은 모델이었다. 품질 자체는 최상위권이었다는 뜻이다. 문제는 속도였다. 카본은 느렸고, 블로거의 표현을 빌리면 '아주 느린' 모델이었다. 바로 이 지점에서 네온의 등장이 의미를 가진다. 네온은 벤치마크 점수상으로는 카본 대비 점진적인 개선에 그치는 것으로 보이지만, 속도에서는 매우 큰 폭의 개선을 보였다.

수치로 보면 차이가 선명하다. 공개 당일 오픈라우터(OpenRouter)를 통해 서비스된 네온은 초당 127토큰의 처리 속도를 기록했다. 카본의 초당 46토큰과 비교하면 두 배를 훌쩍 넘는 속도다. 품질은 비슷하거나 약간 낫고 속도는 두 배 이상 빠르다면, 사용자 체감 품질은 어떻게 달라질까. 블로거가 던진 질문도 여기서 출발한다. 네온이 단지 좋은 모델이 아니라 '가장 좋은 모델'일 수도 있지 않을까.

승률 모델에 속도를 변수로 넣다

이를 확인하기 위해 블로거는 리더보드의 승률을 모델링했다. 승리를 결정하는 요소로 모델 정체성(어떤 모델인가), 속도, 그리고 사용자가 일찍 투표했는지 여부 이 세 가지를 뒀다. 초기 모델링은 성능이 좋지 않았는데, 속도와 조기 투표 사이의 상호작용 항을 추가하자 잘 작동했다고 한다. 조기 투표가 이뤄지는 상황에서는 속도가 승패에 미치는 영향이 달라진다는 점을 반영한 것이다.

여기서 가장 주목할 발견은 속도가 모델 정체성과 거의 맞먹을 만큼 중요하게 나타났다는 점이다. 다시 말해, 사용자가 두 모델 중 하나를 고르는 대결 환경에서는 '얼마나 똑똑한가'만큼이나 '얼마나 빨리 답하는가'가 선택을 좌우한다는 것이다. 블로거는 이 주제를 별도의 글로 다루겠다고 예고했는데, 그만큼 반직관적이면서도 실무적으로 시사하는 바가 큰 결과다.

이 모델에 네온의 조건을 대입하면 결과는 이렇다. 성능은 카본과 동일하다고 가정하고(벤치마크 점수가 오히려 더 좋으므로 합리적인 가정이다), 속도는 초당 127토큰으로 두면 에이전트 듀얼 리더보드에서의 예상 Elo는 1,066으로 산출된다. 이는 이후 분석 스냅샷에서 오푸스 5.5가 기록한 1,078에 약간 못 미치는 수준이다. 네온과 오푸스 5.5 사이 Elo 차이의 90% 구간은 -94에서 +68 사이이며, 네온은 오푸스를 상대로 48.3%의 승률(무승부는 0.5승으로 계산)을 거둘 것으로 추정됐다.

추정은 어디까지 믿을 수 있나

실무자 입장에서 이 분석을 어떻게 받아들여야 할까. 핵심 메시지는 분명하다. 모델을 평가할 때 벤치마크 점수만 보면 사용자 경험의 절반을 놓칠 수 있다는 것이다. 특히 사람이 직접 두 응답을 비교하며 선호를 투표하는 환경에서는 응답 지연이 품질 인식 자체를 바꾼다. 챗봇이나 코딩 보조처럼 상호작용이 잦은 제품을 설계한다면, 약간의 품질을 희생하더라도 빠른 모델을 택하는 편이 체감 만족도에서 유리할 수 있다는 가설이 성립한다.

동시에 한계도 분명히 해야 한다. 이번 결론은 실제 대결 데이터가 아니라 추정치에 기반한다. 네온의 품질이 카본과 같다는 가정이 핵심 전제이며, 초당 127토큰이라는 속도도 공개 당일 특정 경로에서 관측된 값일 뿐 시간이 지나 수요가 몰리면 달라질 수 있다. 90% 구간이 음수와 양수를 모두 포함하고 승률 추정치가 50%를 밑돈다는 점은, 네온이 오푸스 5.5를 확실히 앞선다기보다 '통계적으로 구분하기 어려운 동급'에 가깝다는 해석을 뒷받침한다. 즉 이 글은 네온이 최상위 모델과 겨룰 체급이라는 가능성을 제시한 것이지, 왕좌 교체를 선언한 것은 아니다. 실제 리더보드에 충분한 투표가 쌓인 뒤의 숫자를 확인하는 일이 남아 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://micjm.com/blog/gemini-4-neon-looks-like-a-top-model/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...