AI 코딩 에이전트, 코드 치기 전에 논문부터 읽히면 어떻게 될까?

코딩 에이전트의 한계, 느끼고 계시죠?

요즘 AI 코딩 에이전트가 정말 많아졌어요. Cursor, Copilot, Claude Code 같은 도구들이 코드를 대신 짜주고, 버그도 잡아주고, 리팩토링도 해주죠. 근데 쓰다 보면 한 가지 답답한 점이 있어요. 비교적 단순한 작업은 잘하는데, 좀 복잡한 문제를 주면 엉뚱한 방향으로 달려간다는 거예요.

왜 그럴까요? 대부분의 코딩 에이전트는 프롬프트를 받으면 바로 코드를 생성하기 시작해요. 사람으로 치면, 문제를 듣자마자 바로 키보드부터 두드리는 것과 같아요. 경험 많은 개발자라면 어떻게 하나요? 먼저 관련 문서를 읽고, 비슷한 사례를 찾아보고, 아키텍처를 고민한 다음에 코드를 짜잖아요.

"Research-Driven Agent"라는 접근법

SkyPilot 팀에서 흥미로운 실험 결과를 공개했어요. AI 에이전트가 코드를 작성하기 전에 먼저 리서치 단계를 거치게 하면 성능이 얼마나 올라가는지 측정한 건데요.

이 리서치 단계가 뭐냐면, 에이전트에게 "이 문제와 관련된 논문, 문서, 기존 코드베이스를 먼저 읽고 이해한 다음에 코딩을 시작해"라고 지시하는 거예요. 그냥 프롬프트 한 줄 추가하는 수준이 아니라, 체계적으로 정보를 수집하고 정리하는 단계를 워크플로우에 넣는 거죠.

구체적으로는 이런 흐름이에요. 먼저 에이전트가 주어진 태스크를 분석하고, 관련된 키워드와 개념을 추출해요. 그다음 관련 논문이나 기술 문서를 검색하고 읽어요. 핵심 인사이트를 정리한 뒤에, 그걸 바탕으로 구현 계획을 세우고, 마지막으로 코드를 작성하는 거예요.

실험 결과가 꽤 인상적이에요

이 접근법을 SWE-bench 같은 벤치마크에서 테스트해봤는데요, 리서치 단계를 추가한 에이전트가 그렇지 않은 에이전트보다 유의미하게 높은 성공률을 보였어요. 특히 차이가 크게 난 건 복잡한 태스크에서였어요. 단순한 버그 수정 같은 건 리서치 없이도 잘하는데, 새로운 기능 구현이나 아키텍처 설계가 필요한 작업에서는 리서치를 한 에이전트가 확실히 앞섰어요.

이게 직관적으로도 말이 되는 게, 복잡한 문제일수록 "맥락"이 중요하잖아요. 예를 들어 분산 시스템의 합의 알고리즘을 구현하라고 하면, Raft나 Paxos 논문을 읽은 에이전트와 그냥 바로 코드를 쓰는 에이전트의 결과물은 당연히 다를 수밖에 없겠죠.

또 흥미로운 점은, 리서치 단계에서 수집한 정보의 양보다 질이 중요했다는 거예요. 관련 문서를 마구잡이로 많이 읽히는 것보다, 핵심 문서 몇 개를 깊이 이해하게 하는 게 더 나은 결과를 냈어요.

기존 접근법과 뭐가 다른가

RAG(Retrieval-Augmented Generation)이라고 들어보셨을 거예요. 질문과 관련된 문서를 검색해서 LLM에 같이 넣어주는 기법인데요. 리서치 드리븐 에이전트는 RAG와 비슷해 보이지만 중요한 차이가 있어요.

RAG는 보통 "검색해서 붙여넣기" 수준이에요. 관련 문서 조각을 찾아서 프롬프트에 추가하는 거죠. 반면 리서치 드리븐 접근법은 에이전트가 능동적으로 여러 소스를 탐색하고, 정보를 종합하고, 자기만의 이해를 구축하는 과정이에요. 사람이 논문을 읽을 때 단순히 발췌하는 것과, 읽고 나서 자기 말로 정리하는 것의 차이라고 보시면 돼요.

또 하나, 이 접근법은 에이전트 프레임워크에 독립적이에요. 특정 모델이나 도구에 종속되지 않고, 어떤 코딩 에이전트든 리서치 단계만 추가하면 성능이 올라간다는 거예요. 그래서 기존에 쓰고 있는 에이전트 워크플로우에 비교적 쉽게 적용할 수 있어요.

실무에서 어떻게 활용할 수 있을까

당장 여러분의 AI 코딩 워크플로우에도 이 아이디어를 적용해볼 수 있어요. 복잡한 작업을 AI에게 시킬 때, 바로 "이거 구현해줘"가 아니라 단계를 나눠보세요.

예를 들어 "먼저 이 라이브러리의 공식 문서에서 관련 API를 조사하고, 비슷한 구현 사례를 찾아본 다음, 구현 계획을 세워서 보여줘. 내가 확인한 후에 코드를 작성해"라고 하는 거죠. 이렇게 하면 에이전트가 엉뚱한 방향으로 달려가는 걸 미리 잡을 수도 있고, 결과물의 품질도 올라가요.

팀 차원에서는, 내부 위키나 설계 문서를 에이전트가 참조할 수 있게 해두면 더 효과적이에요. 프로젝트의 아키텍처 결정 기록(ADR), 코딩 컨벤션 문서 같은 것들을 에이전트의 리서치 소스로 연결해두는 거죠.