대형 언어 모델을 다룰 때 대부분의 개발자는 모델이 내놓은 최종 텍스트만을 소비한다. 그러나 모델 내부에서는 각 토큰을 생성하기 직전에 어휘 전체에 대한 점수, 즉 로짓(logit)이 계산된다. OpenJev는 바로 이 로짓을 브라우저 안에서 직접 노출하겠다는 발상에서 출발한 실험적 프로젝트다. 서버 API를 거치지 않고 오픈 모델과 WebGPU를 이용해 로컬에서 추론을 돌리고, 개발자가 지정한 선택지에 대한 모델의 확률적 판단을 그대로 들여다볼 수 있게 한다.
두 가지 방식으로 확률을 읽는다
OpenJev가 제시하는 첫 번째 방식은 '타입이 지정된 선택지 로짓(typed option logits)'을 읽는 것이다. 개발자가 몇 개의 후보 답을 제시하면, 모델이 각 후보에 부여한 로짓을 가져와 그 후보들 사이에서만 정규화한다. 이 점이 핵심이다. 일반적으로 소프트맥스는 수만 개에 이르는 전체 어휘를 대상으로 확률을 계산하지만, 여기서는 오직 사용자가 공급한 선택지 집합 안에서만 상대적 비중을 따진다. 결과적으로 '이 세 가지 보기 중에서 모델이 각각을 얼마나 지지하는가'라는 질문에 직접 대응하는 분포를 얻게 된다.
두 번째 방식은 대조적이다. 같은 선택지 분포를 이번에는 모델에게 말로 추정하게 하고, 그 결과를 JSON으로 자기회귀적으로 써 내려가게 한다. 즉 모델이 스스로 '내가 각 보기에 대해 느끼는 확률은 이 정도'라고 서술하도록 시키는 것이다. 사용자는 토큰이 하나씩 도착하는 과정을 실시간으로 지켜볼 수 있다. 흥미로운 지점은 이 두 결과가 반드시 일치하지 않는다는 데 있다. 하나는 모델 내부 상태에서 직접 측정한 값이고, 다른 하나는 모델이 언어로 표현한 자기 보고이기 때문이다.
왜 이 구분이 중요한가
실무자 입장에서 이 차이는 단순한 호기심을 넘어선다. 분류, 라우팅, 신뢰도 기반 필터링처럼 모델의 '확신 정도'를 활용해야 하는 작업에서, 로짓에서 직접 추출한 정규화 분포는 텍스트로 뽑아낸 확률값보다 훨씬 근거가 명확하다. 모델에게 '몇 퍼센트냐'고 물어 받은 숫자는 그럴듯하지만 실제 내부 확신과 어긋날 수 있고, 프롬프트나 포맷에 쉽게 흔들린다. 반면 선택지 집합에 국한한 로짓 정규화는 출력이 항상 유효한 후보 중 하나로 제약된다는 부수 효과까지 가진다. 구조화된 출력이 필요한 파이프라인에서 이는 파싱 실패나 환각성 카테고리를 원천적으로 줄여준다.
WebGPU를 통해 이 모든 과정을 로컬에서 실행한다는 점도 실무적으로 의미가 있다. 데이터가 외부 서버로 나가지 않으므로 프라이버시 민감한 입력을 다루기 쉽고, 토큰 단위 과금이나 네트워크 지연에서 자유롭다. 브라우저만 있으면 별도 런타임 설치 없이 오픈 모델을 돌릴 수 있어, 로짓 수준의 내부 신호를 다루는 실험의 진입 장벽을 크게 낮춘다. 그동안 이런 접근은 파이썬 기반 로컬 환경이나 자체 서빙 인프라를 갖춘 팀의 몫이었다.
남는 한계와 판단할 점
다만 원문이 공개한 정보만으로는 조심스럽게 볼 지점도 있다. WebGPU 기반 브라우저 추론은 실행 가능한 모델의 크기와 속도에 제약이 크다. 로컬에서 무리 없이 돌릴 수 있는 오픈 모델은 대체로 소형에 속하므로, 여기서 읽어낸 로짓의 품질 역시 그 모델의 역량에 종속된다. 작은 모델의 확신도가 잘 보정(calibration)되어 있으리라는 보장은 없으며, 선택지 집합 안에서 정규화한다고 해서 그 상대 확률이 곧 신뢰할 만한 진짜 확률이 되는 것도 아니다.
결국 OpenJev의 가치는 완성된 제품이라기보다, 모델을 블랙박스로만 소비하던 관행에 균열을 내는 데 있다. 최종 텍스트가 아니라 그 직전의 점수를, 그것도 브라우저 안에서 투명하게 다룰 수 있다면 개발자는 모델의 판단 근거에 한 걸음 더 가까워진다. 자신이 만드는 시스템에서 '모델이 무엇을 골랐는가'뿐 아니라 '얼마나 확신했는가', 그리고 '스스로 보고한 확신과 실제 내부 신호가 얼마나 벌어져 있는가'까지 살펴야 하는 이들에게는 한 번쯤 직접 돌려볼 만한 도구다.