지난 몇 년간 언어 모델은 대화에서 이미 초인적 수준에 도달했다. 그런데도 정작 소프트웨어가 스스로 판단을 내리는 '자동화'는 좀처럼 확산되지 않았다. TypeSafe AI가 던지는 질문이 바로 이 지점이다. 이 회사는 사람과 대화하는 모델이 아니라, 코드 안에서 직접 결정을 내리는 모델을 만들겠다며 첫 결과물인 'System One' 모델 Jev를 얼리 액세스로 공개했다. 창업자는 OpenAI에서 언어 모델이 지시를 따르고 사람과 대화하도록 만드는 방법론을 연구했고, 그 작업이 ChatGPT의 기반이 됐다고 밝혔다. 그러나 채팅 모델만으로는 무언가 큰 조각이 빠져 있다는 판단이 이 프로젝트의 출발점이었다.
System One이라는 발상
모델 이름은 대니얼 카너먼의 '생각에 관한 생각'에서 따왔다. 느리고 신중한 System 2 추론이 아니라, 빠르고 직관적인 System 1 판단에 특화한다는 의미다. Jev는 문자열(텍스트)을 생성하는 능력을 의도적으로 포기하는 대신, 구조화된 출력에 최적화됐다. TypeSafe는 이를 '프론티어 지능을 가진 함수 호출'이라고 표현한다. 비정형 상태(state)를 입력받아, 타입이 정해진 확률적 결정을 출력한다는 것이다. 가능한 출력과 구조가 사전에 정의되기 때문에 모델은 타입 오류를 내지 않으며, 정의되지 않은 값을 지어내는 이른바 환각(hallucination)이 구조적으로 불가능하다는 점을 핵심 차별점으로 내세운다.
작동 방식의 차이도 분명하다. 기존 대형 언어 모델은 토큰을 하나씩 순차적으로 생성하는 자기회귀(autoregressive) 방식인 반면, Jev는 모든 출력 확률을 한 번의 쿼리에서 병렬로 뽑아낸다. 학습 방법 역시 사람이 선호하는 답이나 프로그램으로 검증 가능한 답을 목표로 하는 기존 RLHF·RLVR과 달리, '보정된 결정을 위한 강화학습(RLCD)'이라는 자체 기법을 쓴다고 한다. 여기서 '보정(calibration)'은 모델이 내놓는 확신도가 실제 정확도와 일치한다는 뜻이다. 어떤 작업을 95% 확률로 맞히더라도 나머지 5%가 언제인지 스스로 알리지 못하면 자동화에 쓸 수 없다는 문제의식이 담겨 있다.
속도와 비용, 그리고 쓰임새
TypeSafe가 제시하는 수치는 공격적이다. 프론티어 모델의 종단 응답 시간이 3초에서 329초에 이르는 반면 Jev는 70~500밀리초로, System One 형태의 질의에서 같은 지능 수준을 유지하며 40~200배 빠르다는 주장이다. 가격도 입력 토큰이 100만 토큰당 0.042달러이고 출력 토큰은 무료로 책정했다. 회사 홈페이지가 내세우는 '193.6배 빠르고 444.6배 저렴하다'는 문구는 이런 비교에서 나온 값이다. 다만 이는 GPT-6 Astra와 Fable 5.1 등 대형 모델의 평균을 정답 기준으로 삼은 자체 워크플로 평가에서 도출된 것으로, 실제 이득의 상단에 해당한다고 스스로 밝히고 있다.
활용처는 챗봇이나 코딩 에이전트 같은 '사람이 개입하는' 작업이 아니라, 코드 속에 박히는 판단이다. 분류·라우팅·점수화·추출처럼 직접 짠 규칙이 지나치게 취약해지는 지점에 '스마트 if 문'처럼 끼워 넣는 AI 워크플로, 페타바이트 규모 데이터에 대한 맵리듀스, 100밀리초대 속도가 필요한 실시간 UX, 그리고 다른 LLM의 프롬프트와 출력을 채점·검증하는 가드레일 등이 예로 제시된다. Jev는 최대 255개의 선택지(cardinality)를 지원하며, 선택지가 많을 때는 독립적으로 점수를 매긴 뒤 명시적으로 고르는 2단계 방식을 쓴다. 시연으로는 게임 상태를 구조화된 텍스트로 받아 반응하는 둠 봇, 그리고 위키피디아 페이지 사이를 링크만으로 주파하는 봇이 소개됐는데, 후자는 매 단계에서 수백에서 수천 개 링크 중 하나를 고르며 고차원 선택에서 환각이 없다는 점의 이점을 보여주는 사례다.
스스로 인정한 한계들
주목할 점은 회사가 회의론을 자처하며 근거의 편향을 비교적 솔직하게 드러낸다는 것이다. 평가 워크플로는 자사 모델 역량 팀 구성원들이 만들었으므로 편향 가능성이 있고, 정답 기준을 OpenAI·Anthropic 계열 모델 평균으로 잡았기 때문에 DeepSeek 등 다른 모델의 상대 성능은 과소평가됐을 수 있다고 밝힌다. 비교 대상 LLM의 수치는 OpenRouter를 통해 얻은 것이라 복잡한 질의가 더 좋은 모델로 라우팅되는 편향이 존재할 수 있다. 결정적으로 '타입 오류 0%'는 실측값이 아니라 스키마 매칭이 수학적으로 보장되기에 그래프에 자신 있게 0을 넣었다는 설명이다. 가격이 보조금으로 유지되는 것이 아님을 지금 증명할 수는 없으며 지속 가능성은 장기적으로 입증해야 한다는 점도 인정한다.
한국의 실무자 입장에서 이 발표는 '더 똑똑한 챗봇'과는 다른 축의 시도로 읽을 필요가 있다. 지연 시간 보장이 걸려 있거나 의존성 사슬 깊숙이 묻힌 결정에서는 환각 하나가 곧 시스템 장애로 이어지기에, 타입 안전성을 자동화의 기본 전제로 보는 관점 자체는 설득력이 있다. 반대로 문자열 생성 능력을 포기했다는 것은 자유로운 텍스트 응답이나 열린 추론이 필요한 영역에는 애초에 맞지 않는다는 뜻이기도 하다. 결국 Jev의 가치는 '얼마나 똑똑한가'보다 '얼마나 일관되고 검증 가능하게 좁은 결정을 반복하는가'에서 판가름 날 것이다. 아직 얼리 액세스 단계인 만큼, 제시된 벤치마크 수치를 그대로 받아들이기보다 자사 워크로드에서 보정 품질과 실제 지연·비용을 직접 확인해 보는 편이 현실적이다.