파이토치 컴파일러 팀이 개발 로그를 통해 흥미로운 방향성을 이야기했어요. 파이토치를 '참조 언어(reference language)'로 바라본다는 건데요. 처음 들으면 무슨 말인가 싶지만, 이 관점은 파이토치가 지난 몇 년간 걸어온 길을 하나로 꿰는 열쇠이자, 앞으로 AI 인프라 생태계가 어떻게 재편될지를 보여주는 힌트이기도 해요.
'참조 언어'가 뭐냐면
쉽게 풀어볼게요. 여러분이 파이토치로 쓴 코드는 원래 '실행하는 프로그램'이잖아요. 그런데 참조 언어라는 관점에서는, 그 코드가 '이 계산은 이런 의미다'라고 정의하는 기준 문서, 즉 명세(스펙) 역할을 해요. 건축에 비유하면 파이토치 코드는 설계도이고, 그 설계도대로 실제 건물을 어떻게 빠르고 튼튼하게 짓느냐는 컴파일러와 하드웨어 백엔드의 몫이 되는 거예요. 개발자는 의미가 명확한 코드를 쓰는 데 집중하고, 성능은 그 아래 계층이 책임진다는 역할 분담이죠.
사실 이 철학은 파이토치에 이미 깊게 박혀 있어요. 파이토치의 기본 실행 방식인 이거 모드(eager mode)는 코드를 한 줄 한 줄 즉시 실행하는 방식이라 디버깅이 쉽고 직관적인 대신, 최고 성능을 내기는 어렵거든요. 그래서 등장한 게 torch.compile인데, 이 컴파일러의 '정답' 기준이 뭐냐면 바로 이거 모드의 실행 결과예요. 아무리 화려하게 최적화해도 이거 모드와 결과가 다르면 버그로 취급해요. 이거 모드가 곧 의미의 기준, 즉 참조 구현인 셈이죠.
torch.compile이 일하는 방식
구체적으로 어떻게 동작하냐면, TorchDynamo라는 구성 요소가 파이썬 바이트코드를 가로채서 여러분의 코드를 계산 그래프로 뽑아내요. 코드를 한 글자도 안 고쳤는데 컴파일러가 알아서 구조를 파악하는 거예요. 그다음 TorchInductor라는 백엔드가 그 그래프를 받아 GPU용으로는 Triton 커널을, CPU용으로는 C++ 코드를 자동 생성해요. 개발자가 손으로 CUDA 커널을 짜던 일을 컴파일러가 대신하는 거죠. 여기서 한 발 더 나간 게 Helion이라는 프로젝트인데요, 아예 GPU 커널 자체를 파이토치 문법의 부분집합으로 작성하면 컴파일러가 Triton 코드로 변환하고 최적 설정까지 자동으로 찾아줘요. 모델 코드뿐 아니라 커널 수준까지 '파이토치로 뜻을 적으면 기계가 빠른 구현을 만든다'는 그림이 완성되어가는 거예요.
업계 맥락: 프레임워크 전쟁의 다음 국면
한때 텐서플로와 파이토치가 '누가 더 빨리 실행하나'로 싸웠다면, 지금 판도는 달라졌어요. 연구와 실무 모두에서 파이토치 API가 사실상의 표준이 되면서, 경쟁의 축이 '어떤 프레임워크를 쓸까'에서 '파이토치 코드를 누가 가장 잘 실행하나'로 옮겨간 거예요. 구글 진영의 JAX는 처음부터 컴파일을 전제로 설계된 함수형 스타일로 다른 길을 걷고 있지만, AMD, 인텔 같은 하드웨어 회사들은 자사 칩에서 파이토치가 잘 돌게 만드는 데 사활을 걸고 있어요. 파이토치가 참조 언어가 된다는 건, 새 하드웨어가 시장에 진입하는 관문이 '파이토치 호환성'이 된다는 뜻이기도 해요.
한국 개발자에게 주는 시사점
이 흐름은 한국과도 밀접해요. 리벨리온이나 퓨리오사AI 같은 국내 NPU 회사들에게 파이토치 호환 소프트웨어 스택은 사실상 시장 진입의 필수 조건이거든요. 참조 언어라는 명확한 기준이 서면 이런 후발 하드웨어 주자들이 '무엇을 맞춰야 하는지'가 분명해져서 오히려 기회가 될 수 있어요. 일반 개발자 입장에서는 실천 포인트가 단순해요. 손으로 커널을 최적화하기 전에 torch.compile 한 줄을 먼저 시도해보고, 컴파일러가 그래프를 끊지 않도록(graph break) 파이썬 트릭이 덕지덕지 붙은 코드보다 정직하고 깔끔한 코드를 쓰는 습관을 들이는 거예요. 의미가 명확한 코드일수록 컴파일러가 더 빠르게 만들어주는 시대니까요.
마무리
한 줄로 정리하면, '파이토치 코드는 이제 실행물이 아니라 명세이고, 성능은 컴파일러의 일이 된다'는 거예요. 여러분은 torch.compile을 실무에서 써보셨나요? 체감 성능 향상이 있었는지, 아니면 아직 이거 모드가 편하신지 이야기 나눠봐요.
🔗 출처: Hacker News