개발자 zachahn이 공개한 'Vomit'은 이름부터 도발적인 소규모 오픈소스 프로젝트다. 프로젝트 설명은 대형 언어 모델이 쏟아내는 장황한 출력을 "토큰 구토(token vomit)"라고 부르며, 이를 별도의 로컬 LLM에 통과시켜 정돈된 영어로 바꿔 준다고 소개한다. 프로젝트 문구는 "Claude 5는 가망이 없으니 토큰을 아끼라"는 식의 농담조 카피를 전면에 내세우는데, 이 표현 자체가 도구의 성격을 잘 드러낸다. 기능적 유틸리티인 동시에, 최근 LLM 출력이 지나치게 수다스럽고 군더더기가 많다는 실무자들의 피로감을 겨냥한 일종의 풍자에 가깝다.
무엇을 하는 도구인가
Vomit의 작동 방식은 단순하다. 한 LLM의 출력을 로컬에서 돌아가는 또 다른 LLM에 파이프로 흘려보내 다시 다듬는 후처리 계층을 두는 것이다. 프로젝트는 이 과정이 완전히 로컬에서 처리되며 텔레메트리(사용 데이터 수집)가 없고 외부 의존성도 없다는 점을 강조한다. 또한 기존 작업 흐름을 건드리지 않고 옆에서 함께 돌릴 수 있는 '비침습(non-invasive) 모드'를 제공한다. 로컬 LLM 환경이 아직 없는 사용자를 위해서는 Llama.app을 설치한 뒤 그 안에서 GPT-OSS 20B 모델을 내려받고, 설정을 마친 다음 init 서브커맨드를 실행하는 방식을 권한다.
이 구조의 핵심은 '값비싼 모델의 출력을 저렴한 로컬 모델로 손질한다'는 발상이다. 원격 상용 모델이 내놓은 결과물을 로컬 모델이 한 번 더 압축·정리함으로써, 최종적으로 사람이 읽거나 다음 단계로 넘길 텍스트의 밀도를 높이겠다는 것이다. 텔레메트리가 없고 처리 전 구간이 로컬이라는 점은, 민감한 텍스트를 외부 서비스에 다시 보내지 않고도 후처리를 붙일 수 있다는 프라이버시 측면의 이점으로 이어진다.
실무적으로 눈여겨볼 지점
농담 섞인 포장을 걷어내면, Vomit이 건드리는 문제는 실무에서 반복적으로 마주치는 것이다. 많은 팀이 모델 출력의 장황함을 프롬프트 지시나 시스템 메시지로 억제하려 하지만, 그 방법이 항상 안정적으로 먹히지는 않는다. 출력 뒤에 별도의 정리 단계를 두는 '후처리 파이프라인' 접근은 이런 상황에서 하나의 대안이 된다. 특히 정리용 모델을 로컬에 두면 반복 호출 비용을 외부 API 과금에서 분리할 수 있고, 데이터가 로컬을 벗어나지 않으므로 규정 준수나 보안이 민감한 환경에서 검토해 볼 만하다. 20B급 오픈 모델을 개인 장비에서 구동하는 흐름이 점점 자연스러워지고 있다는 방증이기도 하다.
한계와 냉정한 평가
다만 이 방식이 만능은 아니다. 출력 뒤에 또 하나의 LLM을 붙이는 것은 본질적으로 처리 지연과 계산 자원 소모를 추가하는 일이며, 정리를 맡은 로컬 모델 역시 나름의 오독이나 왜곡을 만들어 낼 수 있다. 원본 의미를 축약하는 과정에서 중요한 뉘앙스나 근거가 함께 잘려 나갈 위험도 상존한다. 또한 GPT-OSS 20B 정도의 모델을 쾌적하게 돌리려면 그에 걸맞은 하드웨어가 필요하므로, 누구에게나 부담 없는 선택지라고 보기는 어렵다.
무엇보다 Vomit은 규모가 작고 다분히 유머러스한 성격의 프로젝트다. 공개된 저장소 설명만으로는 실제 정리 품질이나 다양한 작업에서의 신뢰도를 가늠하기 어렵고, 프로덕션 파이프라인에 곧바로 얹을 만한 성숙도를 갖췄다고 단정할 근거도 없다. 그럼에도 이 도구가 던지는 메시지는 가볍게 넘기기 어렵다. 모델이 유창해질수록 사용자는 오히려 '핵심만 간결하게'를 더 갈망하게 되며, 출력의 양이 아니라 밀도가 품질을 가르는 기준이 되고 있다는 점이다. Vomit은 그 긴장을 로컬 후처리라는 구체적 형태로 실험해 본, 작지만 시사적인 사례로 읽을 수 있다.