프로덕션 환경에서 AI 에이전트가 실패하는 원인을 두고 흔히 '모델이 충분히 똑똑하지 않아서'라고 진단한다. 그러나 최근 arXiv에 공개된 한 논문은 다른 각도를 제시한다. 실무에서 에이전트가 무너지는 지점은 추론 능력의 부족보다, 추론에 동원되는 컨텍스트 자체를 관리하지 못하는 데 있다는 것이다. 대화 기록, 방대한 프롬프트, 길게 늘어진 도구 정의, 그리고 호출할 때마다 부풀어 오르는 도구 출력이 컨텍스트 창을 잠식한다. 에이전트는 스스로 쌓아 올린 이력에 파묻히면서, 매 턴마다 늘어나는 토큰 비용을 치른다. 그 결과 하나의 대화 안에서도, 여러 대화에 걸쳐서도 정작 필요한 정보를 불러오지 못하는 '기억 누락'이 발생한다.
저장·검색을 넘어선 '수명 주기' 관점
논문의 핵심 주장은 기존 업계의 대응 방식이 지나치게 좁다는 것이다. 지금까지 이 문제는 대체로 저장(store)과 검색(retrieval)의 문제, 즉 벡터 DB에 넣고 잘 찾아오는 문제로 다뤄져 왔다. 저자들은 에이전트가 '무엇을 마음에 담고 있는가'를 능동적으로 관리하는 일은 단순한 저장소가 아니라 하나의 수명 주기(lifecycle)라고 본다. 여기에는 무엇을 기억할지 결정하고, 그것을 추출·구조화하며, 데이터 유형별로 적절한 저장소를 고르고, 출처(provenance)를 보존하면서 통합하거나 잊어버리고, 지금 무엇이 관련 있는지 판단하며, 다음에 무엇이 필요할지 예측하고, 예산 안에서 중요한 것을 잃지 않고 컨텍스트를 압축하는 과정이 모두 포함된다. 저자들은 이 분야를 '에이전트형 컨텍스트 관리(Agentic Context Management, ACM)'라 명명하고, 이를 아키텍처 설계(architecting), 수집(ingesting), 범위 지정(scoping), 예측(anticipating), 압축 및 통합(compacting & consolidation)이라는 다섯 가지 기본 요소로 분해한다.
특히 주목할 부분은 이것이 단일 사용자 차원이 아니라 조직의 범위 계층(organizational scope hierarchy) 위에서 작동한다는 지적이다. 실제 기업 환경에서는 개인 사용자의 맥락, 팀의 맥락, 조직 전체의 맥락이 층위를 이루며, 어떤 정보를 어느 범위에서 공유하고 격리할지가 곧 설계 문제가 된다. 컨텍스트 관리를 저장 기술이 아니라 아키텍처 문제로 격상시키는 관점이다.
비용은 대화 길이에 따라 제곱으로 늘어난다
논문이 내세우는 두 번째 축은 경제성 논증이다. 아무런 관리 없이 컨텍스트를 계속 누적하면 토큰 비용은 대화 길이에 대해 제곱(quadratic)으로 증가한다. 매 턴마다 이전 이력 전체를 다시 모델에 밀어 넣기 때문에, 대화가 길어질수록 한 번의 응답에 드는 비용이 가파르게 불어난다. 그렇다고 거칠게 요약해 버리면 비용은 선형으로 낮아지지만, 그 대가로 정확도가 어느 지점에서 급격히 무너지는 '정확도 절벽(accuracy cliff)'을 만난다. 저자들은 검증된 압축(validated compaction)만이 선형 비용을 유지하면서도 정보 충실도를 지킬 수 있다고 주장한다. 즉 무엇을 버릴지 압축한 뒤 그 결과가 원래 맥락을 훼손하지 않았는지 검증하는 절차가 핵심이라는 것이다.
저자들은 이 다섯 요소를 멀티테넌트 서비스로 구현한 참조 구현체 'Maximem Synap'을 제시하며, 특정 구성 조건에서 장기 기억 벤치마크인 LongMemEval에서 92%, 대화 기억 벤치마크 LoCoMo에서 93.2%를 기록했다고 밝힌다. 다만 이 수치는 논문이 자사 구현체를 대상으로 보고한 값이라는 점, 그리고 상세 설정에 따라 달라질 수 있다는 점을 감안해 읽어야 한다. 외부의 독립적 재현이나 동일 조건 비교가 확인되기 전까지는 방향성을 보여주는 참고치로 다루는 편이 안전하다.
실무자가 새겨둘 지점과 한계
한국의 개발 실무자에게 이 논문이 주는 시사점은 분명하다. RAG 파이프라인이나 벡터 검색을 붙이는 것만으로 에이전트의 기억 문제가 해결된다는 통념을 재검토하라는 것이다. 무엇을 기억하고 무엇을 잊을지, 어느 범위에 저장할지, 그리고 압축한 결과를 어떻게 검증할지를 시스템 설계 단계에서부터 고려해야 한다는 메시지다. 특히 비용 곡선이 대화 길이에 제곱으로 반응한다는 지적은, 장시간 세션을 다루는 서비스일수록 컨텍스트 관리가 성능뿐 아니라 운영 단가를 직접 좌우한다는 점을 상기시킨다.
동시에 저자들 스스로 인정하는 한계도 뚜렷하다. 기존 벤치마크는 정확도 위주로 설계되어 있어, 응답 지연(latency), 토큰 효율, 그리고 긴 컨텍스트에서 정보가 서서히 왜곡되는 '컨텍스트 부패(context-rot)'에 대한 저항력 같은 실전 지표를 아직 제대로 포착하지 못한다. 결국 이 논문은 완결된 해법이라기보다, 컨텍스트 관리를 하나의 독립된 공학 분야이자 아키텍처 결정으로 다루자는 문제 제기에 가깝다. 개별 의사결정 수준의 맥락, 나아가 조직 수준의 맥락으로 나아가는 방향을 어떻게 검증 가능한 형태로 만들 것인가가 앞으로의 과제로 남는다.