RAG와 AI 에이전트를 '프로덕션'까지 — 오픈소스 Haystack 제대로 보기

LangChain 말고도 선택지가 있어요

LLM으로 뭔가 만들어보려고 검색하면 거의 항상 LangChain이 먼저 튀어나오죠. 그런데 deepset이라는 독일 회사가 만든 Haystack도 같은 영역에서 꽤 오래, 그리고 실전 투입(프로덕션)을 진지하게 고민하며 발전해온 오픈소스 프레임워크예요. RAG와 AI 에이전트를 안정적으로 운영하는 데 초점을 맞춘 게 특징이에요.

잠깐, RAG가 뭐냐면

RAG는 Retrieval-Augmented Generation, 우리말로는 ‘검색 증강 생성’이에요. 이게 뭐냐면, LLM이 아는 척하며 지어내는(환각) 걸 막으려고, 답하기 전에 관련 문서를 먼저 찾아서 그 내용을 근거로 답하게 만드는 방식이에요. 오픈북 시험을 떠올리면 쉬워요. 머릿속 기억에만 의존하지 말고, 신뢰할 자료를 펼쳐놓고 거기서 답을 찾아 쓰라는 거죠. 우리 회사 문서나 매뉴얼을 AI 챗봇에 물려서 우리 데이터로만 정확히 답하게 만들 때 거의 필수로 쓰는 기법이에요.

Haystack의 구조: 파이프라인과 컴포넌트

Haystack의 설계 철학은 레고 블록에 가까워요. 모든 기능을 컴포넌트(Component)라는 작은 조각으로 만들고, 이 조각들을 파이프라인(Pipeline)으로 연결해서 하나의 흐름을 짜는 방식이에요. 예를 들어 [문서 검색기] → [프롬프트 조립기] → [LLM 호출] 순으로 블록을 이어 붙이면 하나의 RAG 시스템이 완성되는 식이죠.

이 방식의 장점은 갈아끼우기가 쉽다는 거예요. 검색 엔진을 Elasticsearch에서 다른 벡터 DB로 바꾸고 싶으면 그 블록만 교체하면 되고, LLM을 OpenAI에서 오픈소스 모델로 바꾸는 것도 블록 단위로 가능해요. 그리고 파이프라인이 그래프(흐름도) 형태라, 조건에 따라 분기하거나 되돌아가는 복잡한 로직도 명시적으로 그려낼 수 있어요. 최근 버전은 이 위에 에이전트, 즉 LLM이 스스로 도구를 호출하며 여러 단계를 거쳐 문제를 푸는 구조까지 자연스럽게 얹을 수 있게 했고요.

왜 ‘프로덕션 레디’를 강조할까

초기 LLM 프레임워크들의 공통된 불만이 있었어요. 데모는 5분 만에 되는데, 막상 실서비스에 올리려면 추적(어디서 느려지고 어디서 틀렸는지), 안정성, 버전 관리에서 줄줄 새더라는 거예요. Haystack은 이 지점을 의식해서 파이프라인을 직렬화(저장)하고 다시 불러오거나, 로깅·모니터링과 붙이거나, 평가를 체계적으로 돌리는 쪽에 신경을 썼어요. 장난감에서 제품으로의 간극을 줄이겠다는 거죠.

업계 맥락에서 비교하면

같은 영역의 라이벌은 명확해요. 가장 유명한 LangChain은 기능이 방대하고 생태계가 크지만, 그만큼 추상화가 복잡하고 버전마다 흔들린다는 비판을 받아왔어요. LlamaIndex는 이름처럼 데이터 인덱싱과 검색에 특화돼 RAG에 강하고요. Haystack의 자리는 그 사이 어딘가예요. LangChain만큼 만능은 아니지만, 깔끔한 파이프라인 추상화와 운영 안정성을 무기로 “엔터프라이즈에서 믿고 쓸” 포지션을 노려요. 만든 곳이 NLP를 오래 해온 deepset이라는 점도 신뢰를 더하고요.

한국 개발자에게

사내 문서 검색 챗봇이나 고객 응대 봇처럼 RAG가 필요한 프로젝트를 한다면 충분히 후보에 올릴 만해요. 특히 한 번 만들고 끝이 아니라 오래 운영하고 유지보수해야 하는 상황이라면, 블록 단위로 깔끔하게 갈아끼우는 구조가 나중에 빛을 발하거든요. 모델이나 벡터 DB를 바꿔야 할 일이 반드시 생기는데, 그때 시스템 전체를 안 뜯어도 되니까요.

다만 한글 자료와 예제는 아직 LangChain이 압도적으로 많아서, 막히면 영어 공식 문서를 봐야 할 각오는 필요해요. 그래도 LangChain 하나만 알던 분이라면, 같은 RAG를 다른 설계 철학으로 짜보는 경험 자체가 안목을 넓혀줘요.

마무리

핵심은 이거예요. Haystack은 데모용이 아니라 오래 굴릴 제품을 위한 RAG·에이전트 프레임워크를 지향해요. 화려함보다 운영 안정성에 점수를 주는 선택지죠.

여러분은 RAG 프로젝트에 어떤 프레임워크를 쓰고 계신가요? LangChain의 풍부함과 Haystack의 깔끔함, 둘 중 무엇이 실무에 더 맞다고 느끼세요?