OpenAI가 만든 오픈소스 코딩 에이전트 Codex CLI 저장소에 흥미로운 변경이 하나 올라왔어요. 모델이 다룰 수 있는 컨텍스트 크기를 372,000 토큰에서 272,000 토큰으로 줄이는 수정인데요. 코드만 보면 상수 하나 바꾼 작은 변경이지만, AI 코딩 도구를 매일 쓰는 입장에서는 '내 작업 공간이 10만 토큰이나 줄어든다고?' 싶은 이야기라 그냥 지나치기 어렵죠. 그런데 이 숫자를 찬찬히 뜯어보면, 단순한 다운그레이드가 아니라 꽤 현실적인 사정이 보여요.
컨텍스트 윈도가 뭐냐면요
컨텍스트 윈도는 모델이 한 번의 대화에서 '동시에 기억할 수 있는 정보의 총량'이에요. 책상에 비유하면 딱 좋은데요. 책상이 넓으면 참고 자료를 잔뜩 펼쳐놓고 일할 수 있지만, 좁으면 자료를 계속 치웠다 꺼냈다 해야 하잖아요. 코딩 에이전트한테 컨텍스트는 바로 그 책상이에요. 여러분이 준 지시사항, 에이전트가 읽은 파일들, 실행한 명령어의 결과, 지금까지의 대화 내용이 전부 이 공간 안에 들어가야 하거든요. 그래서 컨텍스트가 줄어들면 큰 코드베이스를 탐색하거나 긴 작업을 이어갈 때 그만큼 빨리 '책상이 꽉 차는' 상황이 오는 거예요.
왜 하필 272k일까요
PR 자체에는 이유가 길게 적혀 있지 않아서 추측이 필요한데요, 숫자를 뜯어보면 꽤 그럴듯한 그림이 나와요. GPT-5 계열 API 스펙을 보면 전체 컨텍스트가 400k 토큰이고, 그중 출력(모델이 생성하는 답변)에 최대 128k 토큰까지 쓸 수 있게 되어 있거든요. 400,000에서 128,000을 빼면 정확히 272,000이에요. 그러니까 이번 변경은 성능을 일부러 깎았다기보다, 출력용 공간을 확실히 예약해두려고 입력 한도를 실제 사용 가능한 값에 맞춘 정리 작업일 가능성이 높아요. 입력 한도를 372k로 잡아두면 컨텍스트를 꽉 채웠을 때 모델이 답변을 쓸 공간이 모자라서 응답이 중간에 잘리는 문제가 생길 수 있거든요. 화려해 보이는 숫자보다 실제로 안전하게 쓸 수 있는 숫자를 택한 셈이죠.
크다고 다 쓸 수 있는 건 아니에요
여기서 한 가지 짚고 갈 게 있는데요. 스펙상 컨텍스트 크기와 '실제로 잘 활용되는' 컨텍스트 크기는 다르다는 점이에요. 업계에서는 이걸 유효 컨텍스트(effective context)라고 부르는데, 대부분의 모델이 컨텍스트가 길어질수록 중간에 있는 정보를 놓치거나 앞에서 받은 지시를 잊어버리는 경향을 보여요. 흔히 'context rot'라고 부르는 현상이죠. 100만 토큰을 지원한다고 광고하는 모델도 수십만 토큰짜리 문서를 넣고 미묘한 추론을 시키면 정확도가 뚝 떨어지는 경우가 많아요. 그래서 에이전트 도구들은 컨텍스트를 무작정 채우는 대신, 대화가 길어지면 이전 내용을 요약해서 압축하는 컴팩션(compaction)이나, 필요한 파일만 그때그때 다시 읽는 전략을 써요. Claude Code, Cursor, Codex 같은 도구들이 전부 이 컨텍스트 관리에 상당한 공을 들이고 있고요. 결국 에이전트의 실력은 컨텍스트가 얼마나 크냐보다, 그 공간을 얼마나 영리하게 쓰느냐에서 갈리는 경우가 많아요.
한국 개발자에게 주는 시사점
실무적으로는 두 가지를 챙기면 좋겠어요. 첫째, 에이전트 도구를 쓸 때 '컨텍스트는 유한한 자원'이라는 감각을 갖는 거예요. 한 세션에서 너무 많은 일을 시키기보다 작업 단위를 쪼개고, 긴 로그나 큰 파일을 통째로 붙여넣기보다 필요한 부분만 전달하는 습관이 결과 품질을 확실히 올려줘요. 둘째, RAG나 에이전트 시스템을 직접 만드는 분이라면 모델 스펙표의 컨텍스트 숫자를 그대로 믿지 말고, 우리 서비스의 실제 작업으로 긴 컨텍스트 성능을 직접 재보는 게 중요해요. 입력 한도와 출력 예약분을 어떻게 나눌지도 이번 사례처럼 설계 단계에서 미리 계산해두면, 나중에 답변이 잘리는 사고를 막을 수 있고요.
정리하며
이번 변경은 '모델이 나빠졌다'는 뉴스라기보다, 화려한 스펙 숫자 뒤에 있는 입력·출력 예산 배분이라는 현실적인 문제를 보여주는 사례에 가까워요. 여러분은 에이전트 코딩 도구를 쓰면서 컨텍스트 한계를 체감한 적 있나요? 긴 작업을 어떻게 쪼개서 시키는지, 나만의 컨텍스트 관리 노하우가 있다면 댓글로 나눠주세요.
🔗 출처: Hacker News