TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 87 READS

vLLM보다 최대 9.5배 빠르다는 추론 엔진 Flide, 벤치마크를 어떻게 읽을까

vLLM보다 최대 9.5배 빠르다는 추론 엔진 Flide, 벤치마크를 어떻게 읽을까
SOURCE IMAGE · HACKER NEWS

대규모 언어 모델을 실제 서비스에 올려본 팀이라면 모델 자체의 성능만큼이나 '추론 엔진'의 선택이 응답 속도와 운영 비용을 좌우한다는 사실을 알고 있다. 같은 가중치라도 어떤 서버 소프트웨어가 요청을 묶고, 메모리를 관리하고, 토큰을 내보내느냐에 따라 지연 시간과 처리량이 크게 달라진다. 지금까지 이 영역의 사실상 표준은 vLLM과 SGLang이었다. 최근 공개된 Flide는 바로 이 두 엔진을 정면으로 겨냥해 '최대 9.5배 빠르다'고 주장하는 오픈소스 추론 인프라다.

Flide는 범용 챗봇 서빙 엔진이 아니라 이른바 '결정 모델(decision model)'을 겨냥한다. 공개 문서에서는 이를 'Jev 스타일 결정 모델'이라고 부르며, 전용 엔드포인트인 /v1/systemone API로 서비스한다. 모델 표에는 퍼플렉시티의 결정 모델처럼 널리 알려진 모델도 포함되어 있는데, 표에 오른 어떤 모델이든 동일한 방식으로 구동된다는 점을 강조한다. 라이선스는 Apache-2.0이며, 커널 일부(flide/kernels/gdn.py)는 MIT 라이선스인 flash-linear-attention의 두 커널에서 파생됐고 THIRD_PARTY_NOTICES에 함께 명시되어 있다.

'exact state forking'과 결정론이라는 핵심 주장

Flide가 내세우는 기술적 핵심은 'exact state forking', 즉 상태를 정확히 복제해 분기시키는 방식이다. 함께 제시된 또 하나의 주장은 '모든 답이 질문 하나만으로 모델이 내놓는 바로 그 답'이라는 설명이다. 이는 추론 결과가 같은 배치에 묶인 다른 요청이나 서버의 부하 상태에 흔들리지 않고, 오직 입력 질문에 의해 결정된다는 의미로 읽힌다. 일반적인 배치 추론에서는 요청을 어떻게 묶느냐에 따라 미세한 수치 차이가 생길 수 있는데, 결정 모델처럼 출력이 곧 판단이 되는 용도에서는 이 재현성이 실무적으로 중요하다. 속도와 결정론을 동시에 내세운 점이 Flide의 차별화 지점이다.

9.5배라는 숫자를 꼼꼼히 뜯어보기

인상적인 배수일수록 측정 조건을 확인해야 한다. Flide가 제시한 수치는 H200 한 장 위에서 각 워크로드의 요청들에 대한 '중앙값 지연 시간'을 기준으로, 요청 하나를 처리하는 속도를 비교한 값이다. 즉 대량 동시 요청의 처리량(throughput)이 아니라 단일 요청 응답 지연을 본 것이다. 비교 대상도 획일적이지 않다. 챗 모델은 vLLM과 SGLang 중 더 빠른 쪽을 상대로, OneJev라는 모델은 Flide 이전에 쓰던 qev 엔진을 상대로 측정했다. 각 모델의 '배포판이 기본 제공하는 엔진'을 기준선으로 삼은 셈이다.

조건은 모델마다 더 세분화된다. KnowLine 35B는 해당 배포판이 FP8로 서비스하는 점을 반영해 --quantize fp8 옵션으로 구동했고, 표에서 물결표(~)로 표시된 값은 테스트한 여러 크기에 대한 평균을 뜻한다. 성능 지표로는 DI, 즉 Decision Index라는 자체 측정치를 함께 제시한다. 결국 '최대 9.5배'는 특정 모델·특정 워크로드·단일 GPU라는 가장 유리한 조건에서 나온 상한값이며, 모든 모델에서 균일하게 재현되는 수치가 아니라는 점을 염두에 두어야 한다.

도입을 검토하는 팀을 위한 실무 관점

결정 모델을 사내 파이프라인에 올려 라우팅, 분류, 정책 판단 같은 일에 쓰고 있다면 Flide는 검토해볼 가치가 있다. 특히 요청마다 응답이 흔들리지 않아야 하는 용도, 그리고 동시 부하보다 개별 응답 지연이 중요한 저지연 서비스에서 이점이 두드러질 수 있다. 다만 공개된 자료만으로는 높은 동시성 환경에서의 처리량, 멀티 GPU 확장성, 정확도 손실 여부 같은 운영 핵심 지표를 판단하기 어렵다. 단일 H200 중앙값 지연이라는 측정 틀은 배치가 큰 프로덕션 트래픽의 양상과 다를 수 있다.

현실적인 접근은 벤더가 제시한 배수를 그대로 받아들이기보다, 자신이 실제로 서비스하려는 모델과 트래픽 패턴으로 직접 재현 실험을 돌려보는 것이다. Apache-2.0 라이선스라 도입과 수정의 자유도가 높고, 커널 출처와 서드파티 고지가 투명하게 정리되어 있다는 점은 사내 검토 과정에서 긍정적으로 작용한다. 연구 목적으로 쓸 경우 저자들이 논문 인용을 요청하고 있으므로, 측정 방법론의 세부 사항은 그 논문과 공식 문서에서 교차 확인하는 것이 안전하다. 요약하자면 Flide는 결정 모델 서빙이라는 좁지만 분명한 틈새에서 속도와 재현성을 동시에 노린 시도이며, 그 숫자는 조건을 이해한 뒤에야 비로소 유용한 참고치가 된다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/OmniJev/Flide
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...