RAG에 문서 다 때려넣지 마세요 — 정답에 필요한 것만 남기는 컨텍스트 프루닝

RAG에 문서 다 때려넣지 마세요

요즘 챗봇이나 문서 기반 AI 서비스 만들 때 RAG라는 방식을 많이 써요. RAG가 뭐냐면, 검색 증강 생성(Retrieval Augmented Generation)의 줄임말인데요. 원리는 이래요. 사용자가 질문을 하면, 먼저 우리가 가진 문서 창고에서 질문이랑 관련 있어 보이는 문서 조각들을 검색해서 찾아와요. 그다음 그 문서 조각들을 질문이랑 같이 AI한테 통째로 던져주면서 '이 자료 참고해서 답해줘'라고 시키는 거예요. 이렇게 하면 AI가 최신 정보나 회사 내부 지식처럼 원래 몰랐던 내용도 근거 있게 답할 수 있죠.

그런데 여기서 많은 사람들이 하는 실수가 있어요. '자료를 많이 넣을수록 답이 좋아지겠지' 하고 관련 있어 보이는 문서를 잔뜩 밀어넣는 거예요. 근데 오히려 반대인 경우가 많거든요. kapa.ai 팀이 짚은 게 바로 이 지점이에요. 정답에 진짜 필요한 것만 남기고 나머지는 쳐내는 '컨텍스트 프루닝(pruning)'이 왜 중요한지에 대한 이야기죠.

자료가 많으면 왜 오히려 나빠질까

이유가 몇 가지 있어요. 첫째, AI 모델은 프롬프트가 길어지면 중간에 있는 정보를 잘 놓쳐요. 이걸 '중간에서 길을 잃는다(lost in the middle)'고 부르는데, 연구에 따르면 모델은 맨 앞이랑 맨 뒤 정보는 잘 기억하는데 한가운데 파묻힌 중요한 문장은 흘려버리는 경향이 있거든요. 그러니 관련 없는 문서를 잔뜩 넣으면 정작 핵심 자료가 중간에 묻혀버릴 수 있어요.

둘째, 관련 없는 내용은 그냥 노이즈예요. AI가 엉뚱한 문서 조각에 낚여서 잘못된 답을 하거나, 없는 사실을 지어내는 환각(hallucination)을 일으킬 수 있죠. 셋째는 아주 현실적인 문제인데, 토큰이 곧 돈이에요. 프롬프트에 넣는 글자 수만큼 API 비용이 나가고 응답도 느려지거든요. 쓸데없는 문서를 계속 넣으면 매 요청마다 돈이 새는 거예요.

그래서 어떻게 쳐내나

프루닝의 핵심은 '검색으로 가져온 문서를 AI한테 넘기기 전에 한 번 더 거른다'는 거예요. 방법은 여러 층위가 있어요. 가장 흔한 건 재순위화(re-ranking)인데, 처음 검색으로 후보를 넉넉히 가져온 다음, 더 똑똑한 모델로 질문과의 관련도를 다시 채점해서 진짜 상위 몇 개만 남기는 거예요. 검색은 빠르지만 정확도가 떨어지고, 재순위화는 느리지만 정확하니까 둘을 조합하는 거죠.

한 단계 더 들어가면 문장 단위로 잘라내요. 문서 조각 하나 안에서도 정답에 필요한 문장은 두세 개뿐이고 나머지는 배경 설명일 때가 많거든요. 그래서 조각 통째로 넣지 않고, 질문과 직접 관련된 문장만 뽑아서 넣는 거예요. 더 공격적으로는 작은 언어 모델한테 '이 문단이 이 질문에 답하는 데 필요해?'라고 직접 물어보고, 필요 없다고 하면 버리는 방식도 써요. 결국 강조하는 건 '정답이 실제로 필요로 하는 최소한의 문맥'만 남기자는 철학이에요.

한국 개발자에게

요즘 사내 지식 챗봇이나 고객 상담 봇, 문서 검색 서비스 만드는 팀 정말 많잖아요. RAG를 한 번이라도 붙여봤다면 이 프루닝 이야기는 바로 써먹을 수 있어요. 처음 RAG를 만들 땐 대부분 '검색해서 나온 상위 문서 몇 개를 그냥 프롬프트에 넣기'로 시작하거든요. 그런데 답변 품질이 애매하고 비용이 자꾸 오른다면, 문서를 더 넣을 게 아니라 오히려 덜 넣는 방향, 즉 잘 걸러내는 쪽을 고민해봐야 해요. 재순위화 모델 하나만 끼워도 품질이 눈에 띄게 좋아지는 경우가 많거든요.

특히 한국어는 토큰 효율이 영어보다 나쁜 편이라, 같은 내용도 토큰을 더 많이 잡아먹어요. 그래서 컨텍스트를 알뜰하게 쳐내는 게 비용 면에서 더 큰 이득으로 돌아와요. '많이 넣기'에서 '똑똑하게 골라 넣기'로 사고를 바꾸는 게 핵심이에요.

정리하며

RAG의 성능은 얼마나 많은 자료를 넣느냐가 아니라 얼마나 정확한 자료만 남기느냐에 달려 있어요. 정답에 꼭 필요한 문맥만 골라 넣으면 더 정확하고, 더 빠르고, 더 싸지거든요. 여러분의 RAG 시스템은 지금 필요 이상의 문서를 밀어넣고 있진 않나요?