구글 Gemma 4, 이제 아이폰에서 오프라인으로 돌린다

스마트폰 위에서 돌아가는 AI 모델, 이제 현실이 됐어요

구글이 최신 경량 AI 모델인 Gemma 4를 아이폰에서 바로 실행할 수 있도록 Google AI Edge Gallery라는 앱을 앱스토어에 공개했어요. 이게 무슨 뜻이냐면, 서버에 요청을 보내지 않고도 내 손 안의 기기에서 직접 AI 모델을 돌릴 수 있다는 거예요. 인터넷 연결 없이도요.

그동안 "온디바이스 AI"라는 말은 많이 들었지만, 실제로 쓸 만한 수준의 모델을 모바일에서 돌리는 건 쉬운 일이 아니었거든요. 모델 크기도 크고, 메모리도 부족하고, 배터리도 빨리 닳고. 그런데 Gemma 4는 이런 제약을 상당 부분 극복한 모델이에요.

Gemma 4가 뭔데?

Gemma는 구글이 오픈소스로 공개한 경량 언어 모델 시리즈예요. 구글의 대형 모델인 Gemini의 기술을 기반으로 하되, 훨씬 작은 크기로 만들어서 개인 기기나 작은 서버에서도 돌릴 수 있게 최적화한 거죠. Gemma 4는 그 최신 버전인데요, 이전 버전들보다 성능은 올라가면서도 효율성은 더 좋아졌어요.

특히 이번에 주목할 점은 양자화(Quantization) 기술이에요. 이게 뭐냐면, AI 모델의 숫자 정밀도를 살짝 낮춰서 모델 크기를 확 줄이는 기법이에요. 예를 들어 원래 32비트로 표현하던 숫자를 4비트로 줄이면 모델 크기가 8분의 1로 줄어드는 식이죠. 물론 정밀도가 조금 떨어지긴 하지만, 체감하기 어려운 수준이에요.

AI Edge Gallery 앱은 어떻게 동작하나요?

Google AI Edge Gallery 앱은 일종의 "모델 런처"예요. 앱을 설치하면 Gemma 4를 포함한 여러 경량 모델을 다운로드받아서 기기 내에서 실행할 수 있어요. 핵심은 모든 추론(inference)이 기기 안에서 이루어진다는 점이에요. 데이터가 외부 서버로 나가지 않으니 프라이버시 측면에서도 장점이 크죠.

아이폰의 Neural Engine과 GPU를 활용해서 추론 속도를 높이고, 메모리 사용량도 최적화했다고 해요. 물론 ChatGPT 같은 클라우드 기반 서비스만큼 빠르진 않겠지만, 인터넷 없이도 쓸 수 있다는 건 꽤 매력적인 포인트예요.

업계에서 온디바이스 AI 경쟁이 치열해지고 있어요

사실 온디바이스 AI는 구글만 하는 게 아니에요. 애플은 자체 모델을 iOS에 탑재해서 Siri와 각종 앱에 활용하고 있고, 메타도 Llama 시리즈를 경량화해서 모바일에서 돌리는 데모를 보여준 적 있어요. 퀄컴이나 미디어텍 같은 칩 제조사들도 NPU(신경 처리 장치)를 강화하면서 온디바이스 AI를 밀고 있고요.

그런데 구글의 전략이 흥미로운 건, 오픈소스 모델을 앱스토어 앱으로 패키징해서 일반 사용자도 쉽게 쓸 수 있게 만들었다는 거예요. 지금까지 온디바이스 모델을 돌리려면 llama.cpp 같은 도구를 직접 빌드하거나, 터미널에서 명령어를 쳐야 했거든요. 이걸 앱 하나로 단순화한 거죠.

비슷한 접근으로는 MLC LLM이나 Ollama의 모바일 지원 같은 프로젝트가 있는데, 구글이 직접 공식 앱을 낸 건 의미가 좀 달라요. 모델 제작사가 직접 배포 채널까지 책임진다는 뜻이니까요.

한국 개발자에게 어떤 의미가 있을까요?

우선 프라이버시가 중요한 서비스를 만드는 분들에게 좋은 소식이에요. 의료, 금융, 법률 분야처럼 데이터를 외부로 보내기 어려운 경우, 온디바이스 모델은 아주 매력적인 선택지거든요. Gemma 4가 이 정도로 모바일에서 잘 돌아간다면, 실제 프로덕션에서도 고려해볼 만해요.

또 하나는 오프라인 환경에서의 AI 활용이에요. 지하철, 비행기, 혹은 네트워크가 불안정한 현장에서도 AI 기능을 제공할 수 있다는 건 사용자 경험 측면에서 큰 차이를 만들어요.

개발자 입장에서는 Google AI Edge SDK를 한번 살펴보는 것도 좋을 것 같아요. 자체 앱에 Gemma 모델을 임베딩해서 온디바이스 기능을 추가하는 것도 가능하거든요.