AWS가 코딩 에이전트에게 로컬에서 테스트할 수 있는 'AWS 복제본'을 제공하는 AWS Emulator를 공개했다. 200개가 넘는 AWS 서비스를 내 컴퓨터에서 오프라인으로, 무료로 흉내 내도록 한 이 도구의 핵심은 결과물 자체보다 그것이 만들어진 방식에 있다. 코드와 테스트를 모두 에이전트가 작성했고, 400개 이상의 공개 API 모델을 바탕으로 200여 개 서비스를 커버한다. 공개 블로그를 쓴 스와미 시바수브라마니안(Swami Sivasubramanian)은 이 발표를 20여 년 전 분산 시스템을 검증하던 경험과 연결하며, 에이전트가 코드를 쓰는 시대에 엔지니어의 역할이 어디로 옮겨가는지를 이야기한다.
시뮬레이션으로 분산 시스템을 검증하던 시절
약 20년 전, 아마존 초기 엔지니어 알 베르묄런(Al Vermeulen)과 함께 만든 분산 락 서비스 'Alf'가 배경이다. Alf는 레슬리 램포트의 연구에 기반한 합의 프로토콜 Paxos 위에 구축됐고, 서버 간 데이터를 일관되게 유지하는 복제 엔진을 품고 있었다. 이 서비스는 오늘날 S3, DynamoDB 같은 복잡한 분산 시스템을 떠받치는 토대가 됐다. Paxos는 학계에서 잘 이해된 '정답'이었지만, 수만 개의 클라이언트가 동시에 락을 요청하고 네트워크 분할 중에도 리스를 갱신하면서 '항상 정확해야 한다'는 요구를 만족시키는 규모로 구현하는 일은 전혀 다른 문제였다.
당시 분산 시스템을 검증하는 최선의 방법은 대규모 시스템 테스트와 카오스 테스트였다. 둘 다 유효했지만 비용이 크고, 원하는 조건을 마음대로 재현하지 못한다는 한계가 있었다. 그래서 팀은 Alf의 환경 자체를 높은 충실도로 시뮬레이션했다. 서버를 JVM 안에서 돌리고 네트워크와 주변 인프라를 모사해 전체 시스템을 하나의 통제 가능한 프로그램 안에 담았다. 원할 때 패킷을 떨어뜨리고 결함을 주입할 수 있었고, 동시성 버그가 특정 이벤트 순서에서만 드러난다는 점을 이용해 그 순서들을 의도적으로 구성해 검사했다. TLA+ 같은 형식적 추론 기법도 병행해 많은 문제를 걸러냈다. 덕분에 실제 서버에 올리기 전에 동시성 버그 대부분을 제거할 수 있었다. 물론 실제 환경은 시뮬레이션이 드러내지 못하는 또 다른 문제들을 내놓았다.
손으로 만들 수 없는 규모, 그리고 에이전트
이 방식이 통했던 것은 작은 팀이 하나의 시스템 환경을 직접 손으로 복제할 수 있었고, 당시 AWS의 서비스가 소수에 불과했기 때문이다. 그러나 오늘날 AWS는 200개가 넘는 서비스를 운영하고, AWS를 호출하는 애플리케이션은 사용하는 서비스마다 테스트 환경이 필요하다. 이를 전부 수작업으로 만들면 수년이 걸린다. 발상의 출발점은 AWS 개발자 도구 팀의 수석 프린시펄 엔지니어 매트 골드버그였다. 서비스의 동작을 기술한 문서와 대조할 실제 서비스가 있다면, 에이전트가 스스로 그 서비스의 작동본을 만들 수 있지 않겠느냐는 가설이었다. 여기서 '기술 문서'는 AWS가 서비스의 연산과 입출력·오류를 기술하는 포맷인 Smithy로 쓰인 공개 API 모델이고, '대조할 실제'는 고객이 쓰는 AWS 클라우드 그 자체다.
작동 방식은 충실도 테스트(fidelity test)에 기댄다. 공개 API 모델에서 뽑아낸 엔드투엔드 시나리오로, 예컨대 Amazon SQS에서 수신된 메시지가 가시성 타임아웃이 끝날 때까지 다른 읽기 측에 숨겨져 있는지를 확인하는 식이다. 에이전트는 먼저 각 테스트를 실제 AWS를 상대로 통과할 때까지 교정해 '실제 AWS의 동작'을 테스트에 기록하고, 그 다음 같은 테스트를 통과할 때까지 에뮬레이터를 만든다. 통과하지 못하는 테스트는 에뮬레이터의 공백을 가리킨다. 골드버그가 Kiro에 이 접근법을 설명하는 프롬프트 하나를 주자 약 15분 만에 쓸 만한 SQS 에뮬레이터 초안이 돌아왔다고 한다. 모든 변경은 여러 보안 에이전트의 적대적 리뷰를 포함한 자동화 검사 관문(merge gate)을 통과해야 코드베이스에 들어간다.
엔지니어의 일은 '정답의 기준'을 설계하는 것
코딩 에이전트는 코드를 쓰고, 실행하고, 결과를 읽어 다음 수정을 정하는 루프 안에서 일한다. 분산 시스템에서는 이 루프가 인프라 안에서 돌기 때문에 에이전트가 호출하는 서비스들이 실제처럼 동작해야 한다. 그래야 에이전트가 작성 중에 스스로 결과를 확인하며 첫 시도에 올바른 코드를 내놓는 비율이 크게 올라간다. AWS Emulator는 바로 그 인프라를 로컬 머신의 루프 안에 넣는다. 저자는 과거 넉 달이 걸렸던 Alf 복제 엔진을 Kiro로 다시 만들며 교훈을 체감했다고 적는다. 나흘 밤 동안 감독했지만 에이전트가 자기 결과를 검증할 방법이 없음을 뒤늦게 알아챘고, 명세와 테스트 환경을 갖춰주자 재구축이 약 두 시간 만에 끝났다는 것이다.
정리하면 AI 시대의 소프트웨어 품질은 엔지니어가 에이전트 주위에 설계하는 가드레일에 달려 있다는 주장이다. AWS Emulator에서 그 가드레일은 실제 AWS로 검증한 충실도 테스트, 서로 다른 공격 관점을 맡은 다수의 보안 에이전트와 일반 코드 리뷰어로 구성된 머지 관문, 그리고 에이전트가 건드리면 안 되는 코드를 막는 결정론적 검사다. 다만 AWS 스스로도 '아직 초기'임을 인정한다. 리포지토리에는 실제 AWS와 아직 일치하지 않는 동작을 담은 'things-that-do-not-work' 폴더가 있고, 전체 커밋 이력과 에이전트가 제기한 모든 이슈가 공개돼 있다. 코드는 퍼블릭 도메인에 가까운 CC0로 배포된다. 실무자 입장에서 눈여겨볼 점은 완성도 자체보다, 명세와 테스트와 검증 관문을 어떻게 짜느냐가 에이전트 산출물의 품질을 결정한다는 운영 모델이며, 그 경계가 어디까지 신뢰할 만한지는 공개된 미비점 목록을 직접 확인해 가늠해야 한다.