데이터 병렬 커널을 위한 초소형 컴파일러 직접 만들기

GPU나 SIMD가 어떻게 수천 개의 데이터에 같은 연산을 동시에 적용하는지 궁금했다면, 이 글은 그 핵심을 작은 컴파일러로 직접 구현하며 보여줍니다. 저자는 배열의 각 원소에 동일한 연산을 수행하는 '커널'을 표현하는 작은 DSL을 정의하고, 이를 토큰화·파싱해 AST로 만든 뒤 실행 가능한 코드로 변환하는 전 과정을 단계별로 풀어냅니다. 핵심 인사이트는 데이터 병렬성이 결국 '같은 명령을 서로 다른 데이터에 반복 적용'하는 단순한 패턴이라는 점입니다. 컴파일러는 이 패턴을 인식해 원소별 루프로 펼치고, 연산을 융합(fusion)해 중간 배열 생성을 줄이며 효율을 높입니다. 수백 줄 규모의 장난감 구현이지만, NumPy의 벡터화나 GPU 셰이더, ML 프레임워크의 커널 컴파일이 내부에서 어떤 원리로 동작하는지 이해하는 데 더없이 좋은 출발점입니다. 복잡한 이론서 대신 작동하는 코드로 컴파일러와 병렬 연산의 본질을 체감하고 싶은 개발자에게 추천합니다.