성경을 통째로 데이터베이스로? 'CrossCanon'으로 배우는 RAG의 모든 것

무슨 일이냐면요

요즘 ChatGPT 같은 AI한테 뭘 물어보면 술술 대답은 잘 하는데, 가끔 그럴듯하게 거짓말을 지어내는 거 경험해보셨죠? 이걸 전문 용어로 '환각(hallucination)'이라고 부르거든요. 모델이 배운 적도 없는 내용을 아는 척 만들어내는 현상이에요. 이 문제를 풀려고 나온 기술이 바로 RAG인데요, CrossCanon이라는 프로젝트는 이 RAG를 성경이라는 텍스트 하나에 통째로 적용해본 사례예요. "성경 전체를 검색 가능한 지식 데이터베이스로 만들어 두고, 질문하면 실제 구절을 근거로 답한다"는 발상이죠.

RAG가 뭐냐면요

RAG는 'Retrieval-Augmented Generation', 우리말로 '검색 증강 생성'이에요. 이름은 거창한데 원리는 단순해요. AI가 답을 그냥 머릿속(학습된 파라미터)에서 끄집어내는 게 아니라, 답하기 전에 관련 문서를 먼저 찾아보고(Retrieval) 그걸 근거로 답을 만든다(Generation)는 거예요. 시험을 머리로만 푸는 게 아니라 오픈북으로 교과서를 펼쳐놓고 푸는 거랑 비슷하죠.

구체적으로 어떻게 동작하냐면요. 먼저 성경처럼 긴 문서를 적당한 크기로 잘라요(이걸 '청킹(chunking)'이라고 해요). 그다음 각 조각을 임베딩(embedding)이라는 숫자 벡터로 바꿔요. 임베딩은 문장의 '의미'를 좌표로 표현한 거라고 보면 돼요. 뜻이 비슷한 문장은 좌표상 서로 가까운 곳에 모이거든요. 이렇게 바꾼 벡터들을 '벡터 데이터베이스'에 저장해 둬요.

사용자가 "용서에 대해 뭐라고 하나요?"라고 물으면, 그 질문도 똑같이 벡터로 바꿔서 좌표상 가장 가까운 구절들을 찾아내요. 그리고 찾은 구절들을 LLM에게 "이 내용을 근거로 답해줘"라며 같이 넘겨주는 거죠. 그러면 AI가 없는 말을 지어내는 대신 실제 본문에 기반해 답하게 돼요.

왜 하필 성경일까요

기술적으로 보면 성경은 RAG 실험에 꽤 좋은 소재예요. 일단 내용이 고정돼 있어요. 텍스트가 바뀌지 않으니 한 번 인덱싱해 두면 끝이에요. 게다가 성경은 한 구절이 다른 구절을 참조하는 상호 참조(cross-reference)가 엄청나게 많거든요. CrossCanon이라는 이름도 여기서 온 듯한데, 이런 연결 구조는 단순 검색을 넘어 '지식 그래프'처럼 엮을 수 있는 풍부한 데이터예요. 즉 "비슷한 의미의 구절"뿐 아니라 "명시적으로 연결된 구절"까지 함께 끌어올 수 있는 거죠.

업계 흐름에서 보면

RAG는 지금 기업용 AI에서 거의 표준이 됐어요. 사내 문서, 법률 자료, 의료 가이드라인처럼 '정확한 출처가 중요한' 분야에서는 모델을 새로 학습(파인튜닝)시키는 것보다 RAG가 훨씬 현실적이거든요. 파인튜닝은 비싸고 오래 걸리는데, RAG는 문서만 갈아 끼우면 바로 최신 정보를 반영할 수 있고, 무엇보다 "이 답의 근거가 여기 있다"고 출처를 보여줄 수 있어요. CrossCanon이 흥미로운 건 거대한 범용 챗봇이 아니라 특정 도메인 텍스트 하나를 깊게 파고들었을 때 어떤 경험이 나오는지 보여주기 때문이에요.

한국 개발자에게는

RAG는 이제 주말 사이드 프로젝트로 직접 만들어 보기 딱 좋은 주제예요. LangChain이나 LlamaIndex 같은 라이브러리에 Chroma·pgvector 같은 벡터 DB를 붙이면 "내 블로그 글 전체에 질문하는 챗봇" 정도는 하루 만에 만들 수 있거든요. 사내 위키나 고객 지원 문서처럼 회사에서 바로 써먹을 곳도 많고요. CrossCanon은 "텍스트 하나를 제대로 파면 이런 게 나온다"는 좋은 레퍼런스예요.