AI 이미지 생성, 이제 폰 안에서 직접
지금까지 AI로 이미지를 만든다고 하면 보통 이런 그림이었어요. 프롬프트를 입력하면 그게 인터넷 너머 거대한 GPU 서버로 넘어가고, 거기서 계산된 결과가 다시 내 화면으로 돌아오는 방식이죠. 미드저니든 달리든 다 그래요. 그런데 이번 글은 그 계산을 클라우드 없이 2025년형 안드로이드폰 안에서 직접 돌려본 실험이에요. 인터넷 연결 없이, 내 주머니 속 기기만으로 그림을 뽑아낸 거죠.
어떻게 폰이 이걸 감당하지?
이미지 생성 AI, 특히 확산 모델(diffusion model)이라는 방식은 계산량이 어마어마해요. 이게 뭐냐면, 처음엔 노이즈(지지직거리는 화면)로 시작해서 그걸 조금씩 걷어내며 그림을 만들어가는 방식인데, 이 '걷어내기'를 수십 번 반복해야 하거든요. 매번 거대한 신경망을 통과시켜야 하니 예전 폰으로는 엄두도 못 냈어요.
그런데 두 가지가 이걸 가능하게 만들었어요. 첫째는 NPU예요. 요즘 스마트폰 칩(퀄컴 스냅드래곤이나 구글 텐서 같은)엔 AI 계산 전용 프로세서인 NPU가 들어 있어요. 일반 CPU가 만능 일꾼이라면, NPU는 AI 계산만 죽어라 하는 특화 일꾼이라 같은 작업을 훨씬 빠르고 적은 전력으로 처리해요.
둘째는 양자화(quantization)예요. 이게 뭐냐면, 모델이 쓰는 숫자의 정밀도를 확 낮추는 기술이에요. 원래 32비트 소수점으로 계산하던 걸 8비트, 심지어 4비트 정수로 확 줄이는 거죠. 정밀도가 좀 떨어져도 결과물 품질은 크게 안 나빠지면서, 모델 크기와 계산량은 몇 배로 줄어들어요. 덕분에 몇 GB짜리 모델이 폰 메모리에 들어가고, 그 안에서 돌아갈 수 있게 된 거예요.
온디바이스 AI가 뜨는 이유
이렇게 기기 안에서 AI를 돌리는 걸 온디바이스(on-device) AI라고 불러요. 왜 다들 여기에 매달리냐면 이유가 분명해요. 우선 프라이버시. 내 사진이나 프롬프트가 남의 서버로 안 넘어가니까 안심이죠. 그리고 비용. 서버 GPU는 돌릴 때마다 돈인데, 사용자 폰에서 돌면 서비스 회사 입장에선 사실상 공짜예요. 마지막으로 오프라인. 비행기 안이든 지하든 인터넷 없이 작동해요.
구글은 이미 이 방향으로 '제미나이 나노(Gemini Nano)'라는 온디바이스 모델을 픽셀폰에 넣고 있고, 애플도 애플 인텔리전스로 상당 부분을 기기 안에서 처리하려 하고 있어요. 스테이블 디퓨전을 모바일에서 돌리려는 시도는 예전부터 있었는데, 하드웨어와 최적화 기술이 이제야 실용 수준에 도달한 거죠. 이 글의 실험은 그 '이제야 되는' 순간을 직접 눈으로 보여준 셈이에요.
한국 개발자에게
모바일 앱을 만든다면 이건 꽤 중요한 신호예요. 지금까진 AI 기능을 넣으려면 무조건 API를 호출하고 그 비용을 감당해야 했는데, 앞으로는 가벼운 모델을 앱에 넣어 기기에서 돌리는 선택지가 열려요. 구글의 MediaPipe나 TensorFlow Lite, 퀄컴 AI 허브 같은 도구를 쓰면 안드로이드에서 이런 걸 직접 시도해볼 수 있어요.
물론 아직은 최신 플래그십 폰에서나 쓸 만하고, 생성 속도도 클라우드보다 느려요. 저가폰까지 커버하긴 이른 단계죠. 그래도 '어떤 AI 기능은 서버로, 어떤 건 기기에서'로 나누는 하이브리드 설계를 지금부터 고민해두면 나중에 크게 도움이 돼요.
마무리
AI 계산의 무게 중심이 클라우드에서 사용자 기기로 조금씩 이동하고 있다, 이 실험이 딱 그 증거예요. 여러분이 만드는 앱의 AI 기능 중에, 굳이 서버 안 거치고 기기에서 돌려도 되는 게 있을까요? 프라이버시와 비용을 함께 생각하면 어디까지 온디바이스로 내릴 수 있을지 같이 이야기 나눠보면 좋겠어요.
🔗 출처: Hacker News