코딩 에이전트에게 "테스트를 어떻게 하라"고 지시하는 것이 실제로 결과를 좋게 만드는지에 대한 질문은 오래된 논쟁거리다. Dan Luu는 지난 8월 GPT-5.6 Sol을 대상으로 이 질문을 실험했는데, 당시 결론은 다소 허탈했다. TDD, QuickCheck, Lean 4 같은 특정 기법이나 라이브러리를 쓰라고 지시하면 에이전트는 그 기법의 '희화화된 흉내'만 냈고, 오히려 아무 방법도 지정하지 않은 조건(Default)이 가장 나은 축에 속했다. Default는 쓸모없는 단위 테스트를 잔뜩 쏟아냈지만, 특정 방식으로 테스트하라고 요구하면 대개 결과가 더 나빠졌기 때문이다. 실험 과제는 Zstd RFC를 주고 Zstd를 구현하게 하는 것이었다.
같은 실험을 GPT-6 Astra로 다시 돌리자 두 가지 큰 변화가 나타났다. 첫째는 비용과 정확도다. 5.6 Sol은 Zstd를 RFC만 보고 구현할 때 medium 노력에서 평균 3.5달러를 들여 약 63%, xhigh 노력에서 5.5달러를 들여 약 77% 확률로 전체 홀드아웃 테스트를 통과했다. Astra는 medium 노력에서 1달러로 99% 넘는 확률로 전체 정확도를 달성했다. 둘째는 테스트의 질이다. 5.6 Sol에게 퍼징을 시키면 대부분 같은 코드 경로만 건드리는 무의미한 난수 입력을 양산했지만, Astra는 구조적으로 코드 경로를 실제로 훑으며 사소하지 않은 버그를 찾아냈다. 다만 Zstd 벤치마크가 이미 포화(saturate)된 탓에 이 개선이 정확도 자체를 끌어올렸는지는 판단할 수 없었다.
더 어려운 과제로 옮겨가면
벤치마크가 포화되면 기법 간 차이를 읽어낼 수 없으므로 더 어려운 과제가 필요했다. 5.6 Sol에게는 버거웠던 IMAP RFC를 Astra로 돌리자 조건별 분포가 나왔는데, 에이전트에게 테스트를 주지 않고 80회씩 실행한 결과 여기서도 Default가 꽤 괜찮아 보였다. 일부 조건은 정확도가 다소 높았지만 비용도 함께 올라갔다. 저자는 에이전트가 대개 한 번에 풀지 못하는 과제가 실무의 대부분이라는 점을 들어, 더 어려운 Pandoc 과제까지 끌고 갔다. Pandoc은 평균 14턴을 돌려도 어떤 조건도 100% 정확도에 이르지 못해, '100% 도달 실행 비율' 대신 '통과한 테스트 비율'로 지표를 바꿔야 했다. 비용 때문에 조건당 25회만 돌렸는데도 MSRP 기준 약 9만 달러가 들었다.
여기서 5.6 Sol 때와 결정적으로 달라진 지점이 드러난다. 과거에는 거의 모든 기법이 Default보다 나빠 보였기에 해석이 오히려 쉬웠다. 반면 Astra에서는 여러 기법이 Default를 앞질렀다. 저자는 개념적 오차 범위가 부트스트랩 구간이 보여주는 것보다 훨씬 넓다고 못 박으면서도, Default를 넘어선 조건이 여럿이라는 사실 자체가 '적어도 하나 이상은 진짜로 Default보다 낫다'는 가정을 그럴듯하게 만든다고 본다. 다만 어떤 조건이 더 나은지는 데이터가 부족해 특정할 수 없다. 테스트 속성(property) 기법이 일반화를 개선해 홀드아웃 대비 가시 테스트 점수가 좋아질 것이라는 예상은 일부 들어맞았지만, 내장(built-in) 조건이 기대와 달리 움직인 이유처럼 설명되지 않는 대목도 남았다.
흥미로웠던 몇 가지
일반화 여부를 장담할 수 없다는 전제 아래, 저자는 몇 가지를 짚는다. 차등 테스트(differential testing)는 5.6 Sol 때는 에이전트가 거의 시도하지 않았지만, Pandoc에서는 경계 조건을 면밀히 살펴 양쪽을 모두 올바르게 구현하는 테스트와 코드를 쓰게 만들었다. TDD가 부진한 것은 예상대로였는데(저자는 애초에 부진을 예상해 TDD를 넣었다), 흥미로운 점은 작은 테스트를 많이 만들어내는 다른 조건들이 함께 부진하지는 않았다는 사실이다. 이는 '잔테스트를 많이 쓰면 성능이 떨어진다'는 그럴듯한 설명에 대한 신뢰를 오히려 낮춘다. 또한 Rust의 property 기반 테스트 라이브러리 Proptest가 이번에도 좋은 성적을 냈고 테스트 품질도 한결 나아졌다. 저자는 5.6 Sol과 6 Astra 사이에 PBT나 퍼징을 겨냥한 큰 투자가 있었다기보다 전반적 역량과 일반화가 올라간 결과로 추정하며, 그렇다면 특별한 노력 없이도 모델의 테스트 능력이 앞으로 계속 좋아질 수 있다고 본다. 검증 도구 중에서는 저평가되어 있다고 느껴온 ACL2가 꾸준히 좋은 결과를 냈는데, Lean에 쏟아지는 노력을 감안하면 언젠가 Lean이 앞서겠지만 현재로선 ACL2도 나쁜 선택이 아니라는 것이 그의 조심스러운 견해다.
"테스트를 쓰지 말라"는 주장과 증거의 거리
이 실험을 공개하기 전, DeepSWE 결과를 근거로 "AI가 작성한 단위·통합 테스트는 쓸모없음이 실증됐으니 에이전트에게 테스트를 직접 쓰지 말라고 하라"는 주장이 퍼졌다. 저자의 반박은 구체적이다. DeepSWE는 그가 하는 작업과 동떨어져 있고 Sonnet 5.5 High로 돌린 터라 여기서 다룬 문제보다 훨씬 쉬운 과제에서만 통과했으며, 어떤 기법이 효과적인지는 문제의 크기와 난이도에 따라 잘 일반화되지 않는다. 결정적으로 그 주장의 근거는 '테스트를 요구하지 않았더니 정확도는 비슷하고 비용이 평균 9% 줄었다'는 것뿐이다. 반면 저자의 실험에서는 정확도 차이와 함께 9%를 넘는 비용 차이가 관찰됐다. 에이전트가 아주 쉽다고 느끼는 문제에서 테스트를 생략하면 비용이 줄 수 있다는 정도는 받아들일 만하지만, 작은 문제들에 대한 9% 비용 차이를 '테스트는 실증적으로 무용하다'로 일반화하는 것은 과도하다. 더구나 DeepSWE의 채점기는 테스트와 관련해 결함이 있다는 지적도 덧붙인다.
이 실험 전체를 관통하는 태도는 Nolan Lawson이 JS 프레임워크 선택 실험에서 밝힌 것과 같다. 만능 벤치마크를 만들겠다는 것이 아니라, AI 코딩 시대에도 분위기(vibes)가 아니라 증거로 판단할 수 있음을 보여주려는 것이다. 저자는 AI 랩 수준의 자원이 있더라도 무언가가 '실증적으로 유용하다 혹은 무용하다'고 단정할 수는 없다고 본다. 전체 조건 행렬을 제대로 규명하려면 지금의 100배 규모가 필요한데, Steve Yegge가 월 12만 달러어치 토큰을 쓰는 식으로도 그 규모는 비현실적이고 기껏해야 2~3배 확장에 추측과 외삽을 더하는 정도가 가능하다. 실무자 입장에서 남는 교훈은 소박하되 분명하다. Rust에서 property 기반 테스트가 필요하면 Proptest를 먼저 시도해볼 만하고, Lean을 쓸 만한 문제라면 ACL2도 나란히 돌려 결과가 더 나은지 비교해볼 가치가 있다. 바이럴한 단정보다, 자신의 과제에서 직접 재어본 작은 증거가 더 믿을 만하다는 것이다.