TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 87 READS

145B 모델을 노트북에서: Edge0의 온디바이스 추론 실험

145B 모델을 노트북에서: Edge0의 온디바이스 추론 실험
SOURCE IMAGE · HACKER NEWS

온디바이스 AI는 오랫동안 하나의 딜레마에 묶여 있었다. 큰 모델은 더 많은 메모리와 대역폭, 전력을 요구하고, 작은 모델은 복잡한 작업에서 한계를 드러낸다. 그렇다고 작업을 클라우드로 옮기면 토큰 과금, 데이터 처리 제약, 연결성 의존이 따라붙는다. Edge0가 공개한 Edge0-145B는 이 선택지 사이에서 세 번째 길을 주장한다. 1,450억 파라미터 모델을 개인용 노트북에서 돌릴 수 있게 만들었다는 것이다. 회사는 Edge0-145B와 Edge0-120B 가중치, 통합 추론 프레임워크, 배포 도구를 함께 오픈소스로 내놨다.

맥락을 보면 이 수치의 의미가 분명해진다. 2026년 9월 이전까지 대부분의 온디바이스 모델은 메모리 한계 탓에 10B 파라미터 아래에 머물렀다. 애플 인텔리전스의 온디바이스 기반 모델은 약 3B, 구글 제미나이 나노는 1.8B와 3.25B 버전이었다. 7B 모델만 해도 약 4GB를 소비했고, 공격적으로 압축한 35B 모델은 약 20GB를 필요로 해 스마트폰이 감당할 수 있는 범위를 한참 벗어났다. 모델 가중치는 저장 공간을 차지할 뿐 아니라 생성 과정에서 계속 읽혀야 하므로, 운영체제·다른 앱과 한정된 메모리·대역폭을 두고 경쟁한다. 이것이 이른바 '메모리 월'이다.

모델과 추론 엔진을 함께 설계하다

Edge0의 접근은 모델 구조와 추론 엔진을 분리된 단계가 아니라 하나로 묶어 설계한 데 있다. 핵심은 희소 전문가(expert) 사이에서 큰 행렬을 공유하는 구조다. 64개 전문가가 두 개의 큰 행렬을 공유하고, 각 전문가는 차이를 담는 소량의 파라미터만 따로 보유한다. 과거에는 모든 전문가가 완전한 행렬 세트를 각각 저장했다. 그 결과 전체 145B 중 추론 단계마다 실제 계산에 참여하는 파라미터는 약 10B에 그친다. 또한 클라우드 모델을 먼저 학습한 뒤 압축·가지치기하는 방식이 아니라, 처음부터 온디바이스 구조 그대로 학습해 배포 제약을 설계에 녹였다는 점을 강조한다.

로딩과 스케줄링도 이 철학을 따른다. 자주 쓰이는 '핫 전문가'는 GPU 메모리에 상주하고, 약 40GB의 전문가 라이브러리는 시스템 메모리에 두되 필요할 때 GPU로 끌어온다. 약 48GB의 어휘 데이터는 SSD에 두고 요청 시 읽는다. GPU가 캐시된 전문가를 계산하는 동안 CPU가 나머지를 병렬 처리하고, 투기적 디코딩으로 여러 후보 토큰을 한 번에 검증해 가중치 읽기 비용을 더 많은 출력 토큰에 분산한다. 이런 선택이 노트북에서 80 토큰/초 이상의 디코딩 속도와 약 28GB 피크 메모리를 뒷받침한다고 회사는 밝혔다. 앞서 공개한 Edge0-35B는 아이폰 18 프로 맥스에서 약 2.5GB 메모리로 37 토큰/초 이상을 기록한 바 있다.

벤치마크와 그 한계

성능 지표에서 Edge0는 특정 프런티어 클라우드 모델과의 직접 비교를 내세운다. Terminal-Bench 2.1에서 86.52를 기록해 Qwen3.8-Flash-Next의 83.3, DeepSeek-V4-Flash-0731의 82.7, Claude의 78.2를 앞섰고, AA-LCR에서는 79.3으로 Claude의 78.0을 소폭 넘었다. 여섯 개 벤치마크 평균은 72.8이며 측정된 피크 메모리는 29GB다. 비교 대상인 Qwen3.8-Flash-Next는 평균 71.7이지만 표준 4비트 배포 기준 약 70GB로 추정되는 설치 공간을 쓴다. 즉 메모리 사용량을 기준선의 약 40% 수준으로 낮추면서 비슷하거나 더 높은 역량을 냈고, 48GB 노트북에서의 로컬 구동이 가능해진다는 주장이다. 주류 온디바이스 기준선인 Qwen3.8-27B 대비로는 Terminal-Bench 18.5%, DeepSWE 53.1% 등 에이전트·코딩 영역에서 가장 큰 향상을 보였다.

다만 실무자라면 이 수치를 읽을 때 전제를 함께 봐야 한다. Edge0·Qwen·DeepSeek·Claude 결과는 상당수가 Edge0의 내부 평가에서 나왔고, 비교 대상 메모리 수치 중 별표가 붙은 값은 아직 측정되지 않은 추정치다. 전체 평가 설정과 하드웨어 환경, 재현 지침은 기술 보고서와 함께 공개될 예정이라고만 안내돼 있어, 현 시점에서 독립 검증이 가능한 단계는 아니다. 벤치마크 점수가 역량을 '증명'한다기보다 회사가 주장하는 역량의 경계를 보여주는 자료로 보는 편이 정확하다.

로컬 추론이 바꾸는 비용 구조

Edge0가 공개한 활용 사례는 단발성 생성이 아니라 긴 워크플로를 로컬에서 완주하는 데 초점을 맞춘다. 블렌더에서 맨해튼 규모의 3D 장면을 한 시간 안에 구성하고, 렌더 결과를 스스로 점검해 코드를 수정하며 반복하는 과정이 사람 개입 없이 돌아갔다. 중세 판타지 RPG 도시를 성벽과 1,000채가 넘는 구시가 주택, 고딕 쌍탑 파사드까지 포함해 밑바닥부터 구축하고 20초 플라이스루를 뽑아내거나, '장애물을 통과해 빨간 배낭을 찾는 드론 프로그램을 작성하라'는 한 문장으로 실제 드론의 비행 제어·시각 인식 프로그램을 생성한 사례도 제시됐다. KiCad에서 2층 기판을 라우팅하고 언리얼 엔진 5로 조립 애니메이션까지 렌더한 PCB 설계 작업도 있었다.

이런 작업은 계획·실행·검토를 수십 라운드 반복하기 마련인데, 로컬 추론에서는 그 추가 대화와 코드 수정, 시각 분석에 클라우드 토큰이나 API 과금이 붙지 않는다는 점이 핵심 논거다. 회사는 맨해튼급 도시 장면을 수작업으로 만들 경우 약 1만2,000~1만8,000달러와 한 달 이상이 들고, 선도 클라우드 모델로도 150달러가 넘는 토큰 비용이 든다고 비교했다. 코드와 데이터, 설계도를 기기 밖으로 내보내지 않아도 되는 점은 영업비밀 보호나 데이터 처리 요건이 걸린 하드웨어·회로 설계 현장에서 특히 설득력이 있다. 결국 이 발표의 실무적 무게는 '145B가 노트북에서 돈다'는 사실 자체보다, 반복 비용이 과금에서 분리될 때 어떤 작업 방식이 새로 가능해지는가에 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-cap...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...