여러 대형언어모델(LLM)을 조합해 쓰는 멀티 LLM 시스템은 이미 실무에서 익숙한 구도다. 요약에 강한 모델, 추론에 강한 모델, 코드에 강한 모델을 이어 붙여 단일 모델로는 닿기 어려운 성능과 효율을 얻는다. 그런데 이 조합의 밑바탕에는 좀처럼 의심받지 않는 전제가 하나 깔려 있다. 모델과 모델은 반드시 '텍스트'로 대화한다는 것이다. 한 모델이 알아낸 내용을 다음 모델에 넘기려면, 내부에서 벌어진 풍부한 표현을 일단 출력 토큰 시퀀스로 바꿔야 한다. 칭화대 연구진의 논문 'Cache-to-Cache: Direct Semantic Communication Between LLMs'는 바로 이 전제를 겨눈다.
텍스트라는 병목
문제는 두 가지다. 첫째, 내부 표현을 굳이 자연어 문장으로 압축하는 과정에서 의미 정보가 상당 부분 손실된다. 모델의 은닉 상태에 담겨 있던 미묘한 판단이나 맥락이, 사람이 읽을 수 있는 몇 줄의 문장으로 옮겨지면서 뭉개진다. 둘째, 텍스트 생성은 토큰을 한 개씩 만들어내는 축차적 과정이라 지연시간이 누적된다. 중간 모델이 길게 설명을 늘어놓을수록 전체 파이프라인은 그만큼 느려진다. 연구진이 던지는 질문은 단순하다. LLM이 꼭 텍스트를 거쳐야만 서로 소통할 수 있는가.
대안의 매개체로 지목된 것이 KV 캐시(Key-Value Cache)다. KV 캐시는 트랜스포머가 이전 토큰들을 처리하며 쌓아 둔 내부 상태로, 추론 과정에서 이미 만들어지는 자료다. 연구진은 이른바 오라클 실험을 통해, 캐시 크기를 키우지 않고도 KV 캐시의 의미를 더 풍부하게 채우면 응답 품질이 개선된다는 점을 확인했다. 즉 KV 캐시가 모델 간 통신의 매체로 쓰일 여지가 있다는 근거를 먼저 마련한 것이다.
C2C가 작동하는 방식
이 발상을 구체화한 것이 Cache-to-Cache, 줄여서 C2C다. 핵심은 별도의 신경망을 두어 소스 모델의 KV 캐시를 타깃 모델의 KV 캐시에 투영(project)하고 융합(fuse)하는 것이다. 소스 모델이 파악한 의미가 텍스트라는 우회로를 거치지 않고 곧장 타깃 모델의 내부 상태로 전달된다. 여기에 학습 가능한 게이팅(gating) 장치가 더해져, 캐시 통신으로 실제 이득을 보는 타깃 레이어만 골라 정보를 주입한다. 모든 층에 무차별로 캐시를 섞는 것이 아니라 도움이 되는 지점을 선별한다는 점이 설계의 요령이다. 그 결과 두 모델 각각의 깊고 특화된 의미를 활용하면서도, 눈에 보이는 중간 텍스트 생성 단계를 없앨 수 있다.
성능 수치도 함께 제시됐다. C2C는 개별 모델 대비 평균 정확도가 6.4~14.2% 높았고, 기존의 텍스트 기반 통신 방식과 비교해서도 약 3.1~5.4% 더 나은 정확도를 보였다. 동시에 지연시간은 평균 2.5배 빨라졌다. 정확도와 속도를 함께 끌어올렸다는 점에서, 텍스트 통신이 감수하던 손실과 지연의 맞교환을 상당 부분 우회한 셈이다. 구현 코드는 공개 저장소(github.com/thu-nics/C2C)에 올라와 있어 직접 확인할 수 있다.
실무자가 눈여겨볼 지점
한국의 LLM 활용 실무 관점에서 이 연구가 주는 시사점은 분명하다. 여러 모델을 에이전트처럼 엮는 파이프라인에서 중간 단계의 자연어 전달이 은근한 비용이라는 점을, 정량적 근거와 함께 상기시켜 주기 때문이다. 특히 지연시간이 사용자 경험을 좌우하는 서비스라면, 모델 간 핸드오프를 내부 표현 수준에서 처리하는 접근이 향후 최적화의 한 방향이 될 수 있다.
다만 곧바로 프로덕션에 적용하기에는 짚어 둘 한계가 있다. 캐시를 직접 투영·융합하는 방식은 모델 내부 구조에 접근할 수 있어야 성립하므로, 가중치가 공개된 오픈 모델 조합에서나 실현 가능하다. API 뒤에 감춰진 폐쇄형 상용 모델에는 그대로 쓰기 어렵다. 또 소스와 타깃을 잇는 투영 신경망과 게이팅은 학습이 필요한 요소여서, 새로운 모델 조합마다 별도의 정렬 비용이 든다. 공개된 정확도와 속도 향상 수치가 어떤 과제와 모델 짝에서 측정됐는지, 그 조건이 자신의 워크로드와 얼마나 겹치는지를 먼저 따져 보는 것이 실무적 판단의 출발점이다. 그럼에도 '모델은 텍스트로만 대화한다'는 관성을 정면으로 흔들었다는 점에서, C2C는 멀티 모델 설계의 선택지를 한 칸 넓힌 시도로 읽을 만하다.