TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 63 READS

하버드 연구: AI 코딩 에이전트가 병목을 코드 리뷰로 옮겼다

하버드 연구: AI 코딩 에이전트가 병목을 코드 리뷰로 옮겼다
SOURCE IMAGE · HACKER NEWS

AI 코딩 에이전트를 도입하면 개발 생산성이 오를 것이라는 기대는 널리 퍼져 있다. 그러나 하버드 박사과정 연구자 피오나 첸과 제임스 스트래턴이 내놓은 워킹 페이퍼는 그 기대에 분명한 단서를 붙인다. 에이전트를 쓴 기업에서 작성된 코드 양은 약 30퍼센트 늘었지만, 실제로 완료된 작업량은 측정 가능한 수준으로 증가하지 않았고, 코드가 리뷰를 통과하는 데 걸리는 시간은 오히려 49퍼센트 길어졌다는 것이다. 늘어난 생산량이 완성품으로 이어지지 못한 채, 병목이 작성 단계에서 사람이 검토하는 지점으로 이동했다는 분석이다.

연구는 718개 기업, 72만5938명의 노동자를 대상으로 했다. 엔지니어링 활동을 추적하는 분석 플랫폼 젤리피시(Jellyfish)의 데이터와 레벨리오 랩스가 수집한 링크드인 고용 기록을 결합했고, 기간은 2021년 1월부터 2026년 3월까지다. 집계된 규모는 지라 이슈 6830만 건, 커밋 2억90만 건, 풀 리퀘스트 4910만 건에 이른다. 다만 캘린더 데이터를 제공한 곳은 718개 사 중 213개 사뿐이어서, 일부 지표는 표본이 제한적이라는 점을 염두에 둘 필요가 있다.

코드는 늘었지만 완료는 늘지 않았다

구체적인 수치를 보면 코딩 측면의 증가는 뚜렷하다. 노동자-월당 추가된 코드 라인은 기준치 5017에서 1494가 늘어 약 30퍼센트, 커밋은 20퍼센트, 리뷰에 제출되는 코드 묶음인 풀 리퀘스트는 23퍼센트 증가했다. 반면 완료된 작업은 다른 양상을 보였다. 연구는 완료 작업을 '프로덕션에 배포된 지라 이슈'로 정의했는데, 에이전트가 움직인 값은 기준치 3.67 대비 0.12에 그쳤고 표준오차가 0.17이었다. 통계적으로 0과 구별되지 않는 결과이며, 95퍼센트 신뢰구간상 기준치의 약 12퍼센트를 넘는 증가는 배제된다. 작성량 30퍼센트 증가와의 간극이 분명하다.

연구진은 '작업 단위가 커져서 완료 건수가 적게 보이는 것 아니냐'는 반론을 먼저 검증했다. GPT-4o로 이슈 표본의 0.5퍼센트에 크기를 라벨링하고 텍스트 임베딩 모델로 전체에 확장한 결과, 평균 이슈 크기에도 풀 리퀘스트 크기에도 변화가 없었다. 간극은 리뷰 단계에 있었다. 풀 리퀘스트 제출에서 병합까지 걸린 시간은 기준 7.03일에서 3.45일이 늘어 49퍼센트 증가했고, 정식 변경 요청을 받은 비율은 기준 13퍼센트에서 약 12퍼센트포인트 올라 사실상 두 배가 됐다. 리뷰 코멘트는 35퍼센트 늘었고, 리뷰에 참여한 노동자 비율은 29퍼센트대에서 14퍼센트 증가했다.

AI 리뷰 도구도 병목을 풀지 못했다

흥미롭게도 AI 리뷰 도구의 도입은 이 병목을 해소하지 못했다. 2026년 3월까지 약 80퍼센트 기업이 그런 도구를 써봤지만, AI가 생성한 리뷰 코멘트는 전체의 23.3퍼센트에 머물렀고, AI 코멘트를 하나라도 받은 풀 리퀘스트는 10.8퍼센트에 불과했다. 연구진은 두 가지 경로로 현상을 설명한다. 하나는 빨라진 작성 속도가 한정된 리뷰어 풀로 더 많은 코드를 보내는 문제로, 인력을 리뷰로 재배치하면 상당 부분 완화된다. 다른 하나는 변경 요청과 코멘트 증가가 가리키는 초안 품질 저하로, 이는 더 나은 기술이 있어야 풀린다. 어느 경로가 지배적이냐에 따라 투자 방향이 달라진다는 지적은 도구를 도입하려는 조직이 새겨둘 만하다. 한 주니어 엔지니어는 선임 한 명만 승인할 수 있어 주 1회만 리뷰를 받았고, AI 커밋이 유발한 장애 이후 AI 생성 코드에 선임 승인을 의무화하는 규칙이 생겨 병목이 더 심해졌다고 전했다.

연구의 성격과 한계도 함께 봐야 한다. 이 논문은 2026년 8월 4일자 취업 시장용 페이퍼로, 검토한 버전에서는 저널 게재나 동료 심사 완료의 근거가 확인되지 않는다. 도입 시점의 차이를 활용한 '단계적 이중차분' 설계인데, 도입 시기가 조달·법무·보안 승인 절차에 좌우됐다는 점을 근거로 삼는다. 어떤 기업은 하루 만에 승인했고, 다른 기업은 평균 6~12개월이 걸렸다고 한다. 연구진은 남은 편향이 있다면 오히려 AI를 실제보다 생산적으로 보이게 할 가능성이 크다고 밝혔는데, 그렇다면 '완료가 늘지 않았다'는 결과는 AI에 관대한 추정일 수 있다. 고용 측면에서는 전체 감소 2.9퍼센트, 엔지니어링 감소 13.8퍼센트를 넘는 수준은 배제됐다.

실무적으로 두 가지가 남는다. 첫째, 도구 구매자는 작성 산출량만이 아니라 승인된 결과물, 수정률, 리뷰어 시간을 함께 측정해야 현실을 본다. 둘째, AI 저작은 커밋과 풀 리퀘스트의 'Co-authored-by' 서명이나 봇 계정처럼 협업 시스템에 고유한 메타데이터 흔적을 남긴다. 연구진이 에이전트 사용을 식별한 단서이기도 한 이 흔적은, 기록 보존 일정이나 법적 보존 의무가 닿아야 할 대상이 된다. 한편 2026년 9월 개정된 전미경제연구소(NBER) 워킹 페이퍼도 50만 명 이상의 깃허브 개발자 데이터에서 자율 에이전트 커밋이 누적 240퍼센트 늘었지만 실제 릴리스는 30퍼센트 증가에 그쳤다는 유사한 둔화를 보고했다. 다만 두 연구 모두 소프트웨어를 다뤘을 뿐이며, 같은 패턴이 다른 업무에서도 재현된다고 단정할 근거는 아니라는 점은 분명히 해둘 필요가 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://complexdiscovery.com/harvard-researchers-find-ai-cod...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...