신경망을 FPGA에 박아 초고속으로 돌린다 - KAN이라는 새로운 선택지

무슨 이야기냐면요

요즘 머신러닝 모델 하면 보통 GPU를 떠올리잖아요. 그런데 "GPU도 느리다"고 느끼는 분야가 있어요. 예를 들면 입자물리 실험실(CERN 같은 곳)에서는 1초에 수천만 번씩 쏟아지는 충돌 데이터 중에서 "이건 의미 있는 신호다" 아닌 걸 나노초 단위로 골라내야 하거든요. 이런 곳에서는 GPU도 너무 느려서 FPGA라는 하드웨어를 씁니다.

FPGA가 뭐냐면요, 회로 자체를 내 마음대로 다시 배선할 수 있는 칩이에요. 일반 CPU는 만들어진 대로만 동작하지만, FPGA는 "이 입력을 받으면 이 회로로 흘려보내라"를 직접 설계해서 박아넣을 수 있어요. 그래서 특정 계산만큼은 GPU보다 훨씬 빠르고 지연(latency)이 거의 없습니다. 이번 글은 바로 이 FPGA 위에 KAN(콜모고로프-아놀드 네트워크)이라는 비교적 새로운 형태의 신경망을 올려서 초고속 추론을 해보자는 시도예요.

KAN이 기존 신경망이랑 뭐가 다른가

우리가 흔히 아는 신경망(MLP, 다층 퍼셉트론)은 구조가 이래요. 뉴런과 뉴런을 잇는 선(연결)에는 가중치라는 숫자가 있고, 뉴런(점)에는 ReLU 같은 정해진 활성화 함수가 박혀 있어요. 학습이라는 건 결국 이 선들의 숫자를 조금씩 조정하는 거고요.

KAN은 이걸 뒤집습니다. 점이 아니라 선 위에 함수를 올려요. 그리고 그 함수마저 고정된 게 아니라 학습으로 모양이 바뀌는 곡선(스플라인, 여러 점을 부드럽게 잇는 곡선이라고 보시면 돼요)이에요. 점에서는 그냥 들어온 값들을 더하기만 하고요. 이건 수학에서 "아무리 복잡한 다변수 함수도 한 변수짜리 함수들의 덧셈으로 표현할 수 있다"는 콜모고로프-아놀드 정리에서 따온 발상이에요.

이게 왜 FPGA랑 궁합이 좋냐면, 학습이 끝난 스플라인 함수는 결국 "입력값 → 출력값" 표(룩업 테이블, LUT)로 미리 구워둘 수 있거든요. 그런데 FPGA라는 칩 자체가 원래 LUT 덩어리로 만들어져 있어요. 즉 KAN의 곡선 함수를 FPGA가 가장 잘하는 형태로 그대로 옮길 수 있다는 거죠. 곱셈을 잔뜩 해야 하는 기존 신경망보다 회로가 단순해지고, 그만큼 더 빠르고 전력도 적게 먹습니다.

업계 맥락에서 보면

FPGA에 신경망을 올리는 흐름 자체는 새롭지 않아요. hls4ml 같은 도구가 대표적인데, 이건 학습된 모델을 FPGA용 회로 코드로 자동 변환해주는 오픈소스예요. 주로 입자물리, 자율주행, 통신 장비처럼 지연을 도저히 못 참는 분야에서 씁니다. 지금까지는 보통 작은 MLP나 양자화(숫자를 8비트, 4비트처럼 잘게 줄이는 것)한 모델을 올렸어요.

여기에 KAN을 끼워넣는 게 흥미로운 이유는, KAN이 같은 성능을 더 적은 파라미터로 내는 경우가 있고, 함수 모양을 사람이 들여다볼 수 있어서 해석 가능성이 좋다는 점 때문이에요. 작고 해석 가능하면서 LUT 친화적이라는 건, FPGA 같은 제약 많은 하드웨어에 딱 맞는 조합이거든요. 물론 KAN이 만능은 아니고, 학습이 까다롭고 큰 이미지 같은 데서는 아직 일반 신경망에 밀린다는 비판도 있어요.

한국 개발자에게

당장 웹 백엔드 짜는 분이 내일 쓸 기술은 아니에요. 솔직히요. 하지만 임베디드, 반도체, 통신, 엣지 AI 쪽에 계시거나 관심 있다면 이 조합은 눈여겨볼 가치가 충분해요. 특히 "모델을 작게 만들어서 칩에 넣는다"는 엣지 AI 흐름이 계속 커지고 있고, 그 안에서 LUT로 잘 펴지는 KAN은 좋은 카드가 될 수 있거든요. FPGA를 직접 다뤄볼 생각이라면 hls4ml로 작은 모델부터 구워보는 걸 추천해요.

한 줄 정리: "선 위에 학습되는 곡선을 올린 KAN"은 FPGA의 룩업 테이블 구조와 찰떡이라, 초저지연 추론이 필요한 분야의 새 선택지가 될 수 있다.

여러분은 어떻게 보세요? 작고 해석 가능한 모델이 GPU 빅모델 흐름 옆에서 따로 자리를 잡을까요, 아니면 결국 거대 모델에 흡수될까요?