[심층분석] 잠자는 동안 GPU 커널이 최적화된다 — AutoKernel이 보여주는 자율 AI 에이전트의 미래

도입: AI가 AI 인프라를 최적화하는 시대

GPU 커널 최적화는 딥러닝 성능의 핵심이지만, 전통적으로 소수의 CUDA 전문가만이 다룰 수 있는 영역이었다. Triton의 등장으로 진입 장벽이 낮아졌음에도, 실제로 프로덕션 수준의 커널을 작성하려면 여전히 상당한 전문 지식과 반복적인 벤치마킹이 필요하다.

AutoKernel은 이 반복 작업을 AI 에이전트에게 맡긴다. Andrej Karpathy의 autoresearch 프로젝트에서 영감을 받아, "에이전트가 파일 하나를 수정하고, 고정된 평가를 실행하고, 유지하거나 되돌리고, 영원히 반복한다"는 철학을 GPU 커널 최적화에 적용했다. GitHub에서 270개 이상의 스타를 기록하며, AI 에이전트 기반 시스템 최적화에 대한 커뮤니티의 높은 관심을 보여주고 있다.

기술 분석: 자율 최적화 루프의 구조

4단계 파이프라인

AutoKernel의 워크플로우는 명확하게 네 단계로 나뉜다.

1. 프로파일링(Profile): PyTorch 모델을 입력받아 GPU 커널 수준에서 병목 지점을 식별한다
2. 추출(Extract): 각 병목 커널을 독립적인 Triton 커널로 분리한다
3. 자율 최적화(Optimize): 에이전트가 커널을 수정 → 벤치마크 → 유지/되돌리기를 무한 반복한다
4. 검증(Verify): 엔드투엔드 정확성을 확인하고 총 속도 향상을 리포트한다

# 모델 프로파일링 (GPT-2, LLaMA, BERT 등 기본 제공)
uv run profile.py --model models/llama_7b.py --class-name LlamaModel 
    --input-shape 1,512 --dtype float16
상위 5개 병목 커널 추출
uv run extract.py --top 5

핵심 메커니즘: program.md와 에이전트 루프

AutoKernel의 독특한 설계는 program.md에 있다. 이 파일은 "연구 조직의 코드"로, AI 에이전트(Claude, Codex 등)가 자율적으로 작동하기 위한 포괄적인 지침을 담고 있다. 에이전트는 이 문서를 읽고 kernel.py 파일을 한 번에 하나의 커널씩 수정하며, bench.py를 통해 5단계 정확성 검증과 루프라인 분석(Roofline Analysis)을 수행한다.

한 번의 실험이 약 90초가 소요되므로, 시간당 약 40회, 하룻밤이면 약 320회의 최적화 실험이 자동으로 수행된다. 오케스트레이터(orchestrate.py)는 암달의 법칙(Amdahl's Law)을 기반으로 어떤 커널로 이동할지를 결정한다 — 전체 시스템 속도 향상에 가장 큰 영향을 줄 수 있는 커널에 우선적으로 리소스를 투입하는 것이다.

안전한 실험 설계

"수정 → 벤치마크 → 유지/되돌리기" 패턴은 단순해 보이지만 강력하다. 모든 변경이 고정된 벤치마크(bench.py)를 통과해야만 유지되므로, 에이전트가 잘못된 최적화를 적용하더라도 자동으로 롤백된다. 이는 성능 퇴화 없이 탐색 공간을 넓힐 수 있게 해준다.

업계 맥락: 자율 최적화 경쟁의 시작

유사 프로젝트와의 비교

| 프로젝트 | 접근 방식 | 대상 |
|---------|----------|------|
| AutoKernel | AI 에이전트 기반 반복 최적화 | Triton 커널 |
| Triton 자체 | 컴파일러 수준 자동 최적화 | GPU 커널 |
| TVM / Apache TVM | 머신러닝 기반 컴파일러 | 다양한 하드웨어 백엔드 |
| autoresearch (Karpathy) | 에이전트 기반 연구 자동화 | LLM 학습 연구 |

AutoKernel은 기존 컴파일러 최적화(Triton, TVM)와 경쟁하기보다는 그 위에서 작동하는 메타 최적화 계층이다. Triton이 이미 생성한 커널을 시작점으로 삼아, AI 에이전트가 인간 전문가처럼 코드 수준에서 추가 최적화를 수행한다.

이는 최근 부상하는 "AI for Systems" 트렌드의 대표적 사례다. LLM이 코드를 이해하고 수정할 수 있게 되면서, 전통적으로 시스템 엔지니어의 영역이었던 저수준 최적화까지 자동화의 범위가 확장되고 있다.

한국 개발자에게 미치는 영향

실무 활용 시나리오

스타트업/중소 팀: CUDA 전문 인력 없이도 GPU 커널 최적화가 가능해진다. H100/A100/RTX 4090 환경에서 테스트가 검증되어 있어, 국내 클라우드 GPU 환경에서도 바로 적용할 수 있다
모델 서빙 비용 절감: 추론 서버의 커널 병목을 식별하고 자동 최적화하여, 동일한 GPU로 더 많은 요청을 처리할 수 있다
커스텀 모델: GPT-2, LLaMA, BERT 외에도 임의의 PyTorch 모델을 지원하므로, 한국어 특화 모델의 추론 최적화에 활용 가능하다