요즘 나오는 AI 기능들, 잘 들여다보면 대부분 클라우드 서버에서 돌아가요. 우리가 쓰는 챗봇도, 코드 자동완성도, 사진 편집 AI도 실제 연산은 어느 기업의 데이터센터에서 일어나고, 우리는 네트워크 너머로 결과만 받아보는 구조거든요. 그런데 이런 흐름에 정면으로 문제를 제기하는 선언문이 등장했어요. 이름하여 '로컬 인텔리전스에 대한 권리(Right to Local Intelligence)'. 핵심 주장은 아주 단순해요. 사람은 누구나 자기가 소유한 기기에서, 누구의 허락도 받지 않고 AI를 실행할 수 있어야 한다는 거예요.
왜 이런 주장이 나왔을까요?
선언문이 지적하는 위험은 크게 세 가지예요. 첫째는 프라이버시예요. AI가 클라우드에서만 돌아가면 우리가 AI에게 묻는 모든 질문, 요약시키는 모든 문서, 상담하는 모든 고민이 남의 서버로 전송돼요. AI가 점점 개인 비서처럼 쓰이는 시대에, 그 비서가 들은 모든 걸 다른 회사가 보관한다고 생각하면 좀 섬뜩하죠.
둘째는 종속성이에요. API로만 AI를 쓸 수 있다면, 그 회사가 가격을 올리거나 서비스를 종료하거나 내 계정을 정지시키는 순간 하루아침에 아무것도 못 하게 돼요. 셋째는 통제예요. 무엇을 물을 수 있고 무엇은 안 되는지를 서비스 제공자가 일방적으로 결정하게 되죠. 이게 왜 문제냐면, AI가 '생각을 돕는 도구'가 되어가고 있기 때문이에요. 계산기가 계산할 때마다 제조사 서버의 허락을 받아야 한다면 이상하잖아요. 선언문은 지능을 다루는 도구도 그렇게 되어서는 안 된다고 말하는 거예요.
기술적으로는 이미 가능한 이야기예요
이 주장이 공허한 이상론이 아닌 게, 로컬 AI는 이미 현실이거든요. llama.cpp나 Ollama 같은 도구를 쓰면 일반 노트북에서도 오픈 웨이트 모델을 돌릴 수 있어요. 오픈 웨이트가 뭐냐면, 모델의 학습된 파라미터(가중치) 파일을 공개해서 누구나 내려받아 실행할 수 있게 한 걸 말해요. 소스코드를 공개하는 오픈소스와 비슷하지만, 학습 데이터나 학습 코드까지 다 공개하는 건 아니라서 구분해서 부르는 개념이에요.
여기에 양자화(quantization)라는 기술이 큰 역할을 했어요. 모델을 구성하는 숫자들의 정밀도를 낮춰서 메모리 사용량을 확 줄이는 기법인데요, 덕분에 원래 수십 GB짜리 모델도 압축해서 일반 소비자용 GPU나 맥북에서 돌릴 수 있게 됐어요. 하드웨어 쪽 흐름도 맞물려 있어요. 애플 실리콘, 퀄컴 스냅드래곤, 인텔과 AMD의 최신 칩까지 전부 NPU(신경망 연산 전용 처리 장치)를 내장하면서, 온디바이스 AI를 위한 하드웨어 기반이 빠르게 깔리고 있거든요.
어디서 본 흐름 같지 않나요?
이 선언, 사실 40년 전의 자유 소프트웨어 운동과 놀랍도록 닮았어요. 1980년대에 리처드 스톨먼이 '소프트웨어를 실행하고, 들여다보고, 수정할 자유'를 주장했을 때도 많은 사람이 이상론이라고 했죠. 하지만 그 운동이 리눅스와 오픈소스 생태계를 낳았고, 지금 인터넷 인프라의 근간이 됐어요. 이번 선언은 그 논리를 AI로 확장한 거예요. 물론 반대 진영의 논리도 만만치 않아요. 강력한 모델이 아무 제약 없이 풀리면 악용을 막을 방법이 없다는, 안전을 근거로 한 공개 제한론이죠. 실제 업계도 오픈 웨이트를 적극적으로 내놓는 진영과 API 뒤에서만 제공하는 진영으로 나뉘어 경쟁하고 있고요. 이 선언은 그 줄다리기에서 '로컬 실행'을 시장의 선택이 아니라 지켜야 할 권리로 격상시키자는 쪽에 무게를 실은 거예요.
한국 개발자에게는요
로컬 AI는 지금 당장 실무 가치가 있어요. 사내 문서나 고객 데이터를 외부 API로 보낼 수 없는 보안 요건을 가진 회사, 한국에 정말 많거든요. 금융, 공공, 의료 쪽이라면 더 그렇고요. 온프레미스나 온디바이스로 AI를 구축하는 수요는 계속 커질 텐데, Ollama로 모델 하나 띄워보는 건 오늘 저녁에도 할 수 있는 일이에요. 작은 모델을 파인튜닝하거나 RAG(검색 증강 생성, 문서를 검색해서 AI 답변에 근거로 넣어주는 기법)를 로컬 모델과 붙여본 경험은 이력서에서도 점점 힘이 세지고 있어요.
정리하면
AI를 내 기기에서 실행할 수 있는 능력을 시장의 선택이 아니라 보장받아야 할 권리로 만들자는 선언이에요. 자유 소프트웨어 운동이 그랬듯, 이런 원칙 선언은 당장은 상징적이어도 장기적으로 생태계의 방향을 바꾸곤 하죠. 여러분 생각은 어떠세요? 로컬 AI 실행은 권리로 보호받아야 할까요, 아니면 그냥 제품 선택의 문제일까요? 로컬 LLM을 실무에 써본 경험이 있다면 그 이야기도 궁금해요.
🔗 출처: Hacker News