TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 56 READS

LLM 스트리밍 텍스트를 '가능하면 즉시, 필요할 때만 버퍼링'하는 Nozzle

LLM 스트리밍 텍스트를 '가능하면 즉시, 필요할 때만 버퍼링'하는 Nozzle
SOURCE IMAGE · HACKER NEWS

LLM이 토큰을 하나씩 흘려보내는 방식은 사용자 경험 측면에서 분명한 이점이 있지만, 그 흐름 위에서 실제 로직을 돌리려는 개발자에게는 성가신 문제를 안긴다. 예를 들어 응답 속에서 특정 패턴을 정규식으로 찾아내거나, 코드 블록만 떼어내거나, 특정 문자열을 치환하려 할 때 찾으려는 대상이 여러 청크에 걸쳐 쪼개져 들어오기 때문이다. 패턴의 일부가 한 청크의 끝에, 나머지가 다음 청크의 시작에 걸쳐 있으면 순진한 처리 방식은 이를 놓친다. 그렇다고 스트림 전체가 끝날 때까지 기다렸다가 한꺼번에 처리하면 애초에 스트리밍을 쓰는 의미가 사라진다. Robert Cunningham이 공개한 TypeScript 라이브러리 Nozzle은 바로 이 지점, 즉 '언제 내보내고 언제 붙잡아 둘 것인가'라는 긴장을 다루기 위해 만들어졌다.

핵심 설계: 확정되기 전까지만 붙잡아 둔다

Nozzle의 기본 원칙은 이름처럼 명확하다. 가능한 순간에는 즉시 청크를 내보내고(emit), 꼭 필요한 곳에서만 버퍼링한다. 정규식 처리를 예로 들면, 매칭 가능성이 있는 구간은 그것이 실제 매치로 확정되거나 아니라고 판명될 때까지만 내부에 붙잡아 두고, 그 주변의 나머지 텍스트는 매치의 일부가 아님이 확실해지는 즉시 흘려보낸다. 이 모든 변환의 토대가 되는 함수가 scan으로, 입력을 훑으면서 일반 텍스트와 매치 결과를 번갈아 내보낸다. extract(매치만 추출), replace(치환), after·before(특정 패턴 전후만 방출), split 계열(구분자로 분리하며 구분자를 앞이나 뒤에 붙이는 변형 포함) 같은 함수들이 모두 이 scan 위에 얹혀 있다. 입구인 nz()는 동기·비동기 이터러블을 모두 받으며, 0.12.0부터는 Web ReadableStream도 소스로 받을 수 있게 됐다.

Nozzle이 제공하는 변환기는 정규식 계열에 그치지 않는다. map·filter·flatMap·find 같은 익숙한 함수형 연산부터, 이전 문자열과 현재 문자열의 차이만 내보내는 diff, 누적 접두사를 내보내는 accumulate, 연속된 n개를 묶는 슬라이딩 window, 각 항목을 앞뒤 문맥과 함께 내보내는 withContext까지 스트림 조작에 필요한 도구가 폭넓게 갖춰져 있다. 하나의 이터레이터를 독립적인 N개의 브랜치로 나누는 split(tee), 에러를 던지는 대신 결과 객체로 감싸는 wrap/unwrap, 스트림 전체를 소비해 방출값과 반환값을 함께 수집하는 consume도 있다.

타이밍과 배압(backpressure)

실무에서 특히 유용한 쪽은 속도 제어다. 공급자는 대개 텍스트를 한꺼번에 몰아서 쏟아내는 경향이 있는데, Nozzle은 이를 단어 단위로 다시 쪼갠 뒤 일정한 속도로 내보낼 수 있다. 토큰 사이에 최소 지연을 강제해 첫 토큰은 즉시, 이후 토큰은 지정한 밀리초 간격을 두고 방출하는 기능, 그리고 들어오는 값을 시간 창(window) 단위로 모아 합쳐 내보내는 기능이 대표적이다. 흥미로운 응용으로, 모델이 아직 코드 블록을 작성하는 도중에도 그 블록만 미리보기 영역으로 스트리밍하다가 완성되면 저장하는 식의 처리가 가능하다. toReadableStream은 소스에서 리더가 값을 요청할 때만 끌어오기 때문에 앞질러 읽지 않고, 타이밍 변환이 의도한 페이싱을 그대로 유지한다.

버퍼링이 길어지는 함정들

다만 Nozzle은 마법이 아니며, 어떤 패턴은 설계상 버퍼링을 예상보다 오래 끌고 간다. 가장 전형적인 것이 패턴 끝에 열린 수량자를 두는 경우다. /hello.+/g는 .+가 언제까지고 더 많은 문자를 매치할 수 있으므로 'hello' 이후 전부를 스트림이 끝날 때까지 붙잡아 둔다. 이럴 때는 /hello[^!]+/g처럼 구분자를 두어 ! 전까지만 매치하게 하면 더 일찍 내보낼 수 있다. 공통 접두사를 가진 선택지, 예컨대 /cat|caterpillar/g는 'cat'이 'caterpillar'가 아님이 확실해질 때까지 붙잡아 두므로 긴 쪽을 앞에 둔 /caterpillar|cat/g가 낫다. /items?/g처럼 선택적 접미사를 확인하려는 경우나 /data.*?end/g처럼 'end'가 나타날 때까지 기다리는 경우도 비슷한 지연을 낳는다. 한편 스트리밍 환경에서 신뢰성 있게 동작할 수 없는 일부 기능은 아예 에러를 던지도록 되어 있어, 잘못된 기대를 조용히 방치하지 않는다.

또 하나 염두에 둘 지점은 버퍼링과 소비 속도의 불균형이다. 값을 미리 빨아들여 내부에 쌓아 두는 buffer, 소스를 즉시(eager) 소비하는 배치 함수, 그리고 동시성을 제어하는 mapAsync 모두 소비자가 느릴 경우 내부 큐가 무한정 커질 수 있다. 특히 mapAsync는 동시 실행 호출 수만 제한할 뿐 결과는 소스 순서대로 내보내기 때문에, 뒤 항목이 먼저 끝나도 앞 항목이 모두 정리되기 전까지는 방출되지 않는다. 이미 시작된 매퍼 호출은 취소로 중단되지 않는다는 점도 설계상 알아 둘 필요가 있다.

정리하면 Nozzle은 LLM 텍스트 스트림을 다루는 흔한 작업, 즉 청크 경계를 넘나드는 패턴 매칭과 치환, 속도 재조정, 구조화된 데이터 추출을 선언적으로 묶어 주는 작은 도구 모음이다. 'emit when possible, buffer where necessary'라는 한 문장이 라이브러리 전체의 행동을 일관되게 설명한다는 점에서 추상화의 결이 깔끔하다. 동시에 정규식이 버퍼링을 유발하는 조건이나 즉시 소비로 인한 무제한 버퍼링처럼 피할 수 없는 트레이드오프를 문서가 숨기지 않고 드러내는 편이어서, 도입을 검토하는 쪽은 자신의 패턴과 소비 속도가 이 특성들과 어떻게 맞물리는지를 먼저 따져 보는 편이 안전하다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/Robert-Cunningham/nozzle
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...