TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 44 READS

노트북에서 돌아가는 '반복 트랜스포머', 잉클링 2 미니가 던진 질문

노트북에서 돌아가는 '반복 트랜스포머', 잉클링 2 미니가 던진 질문
SOURCE IMAGE · HACKER NEWS

씽킹 머신즈가 공개한 잉클링 2 미니(Inkling 2 Mini)는 노트북에서 구동할 수 있을 만큼 작으면서도, 설계 방식에서 기존 소형 모델과 뚜렷이 구분되는 오픈 웨이트 모델이다. 핵심은 '루프(loop)' 구조다. 토큰 하나를 처리할 때 모델 중간 층을 세 번 반복해서 통과시키는데, 이렇게 하면 같은 파라미터로도 더 깊은 연산을 수행해 더 적은 토큰으로 정답에 도달한다. 특히 추론 품질이 성능을 좌우하는 에이전트형 코딩 작업에서 효과가 크다는 것이 회사 측 설명이다.

수치상으로도 결과가 뒷받침된다. 잉클링 2 미니는 총 파라미터 100B 미만 오픈 웨이트 모델 가운데 DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%로 선두를 차지했고, SWE-bench Pro v2 같은 에이전트 코딩 벤치마크에서도 비슷한 규모의 모델을 앞섰다. 구조상으로는 전문가 혼합(MoE) 모델로 총 26.4B 파라미터에 토큰당 활성 파라미터는 3.4B, 루프를 반영한 가중치 활성화는 5.4B 수준이다. 전체 메모리 사용량이 약 20GB에 불과해 소비자용 노트북이나 데스크톱 AI 머신에서 돌아간다. 연구진이 비행기 안에서 맥북 프로로 오프라인 구동해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 만들었다는 일화도 함께 소개됐다.

루프가 바꾸는 것과 바꾸지 못하는 것

루프 구조가 만능은 아니다. 중간 층을 여러 번 도는 것은 '추론'의 깊이를 늘릴 뿐, 가중치가 저장하는 '지식'의 양을 늘리지는 못한다. 지식은 주로 총 파라미터 수에 좌우되기 때문이다. 실제로 사실성을 측정하는 AA-Omniscience 점수는 동급 모델과 비슷한 수준에 머물렀고, SimpleQA Verified 같은 지식 집약형 벤치마크는 루프를 늘려도 개선되지 않았다. 반면 GraphWalks BFS나 MRCR v2 같은 장문맥·직렬 추론 과제는 패스 수가 늘수록 성능이 올라갔다. 이 간극을 모델은 검색과 도구 사용으로 메운다. BrowseComp, DeepSearchQA, MCP Atlas처럼 검색을 전제한 과제에서 동급 오픈 모델을 앞선 것이 그 근거다.

실무자 입장에서 더 눈여겨볼 지점은 효율이다. 스탠퍼드 연구진이 측정한 '쿼리당 에너지 대비 지능' 지표에서 잉클링 2 미니는 NVIDIA DGX 스파크 기준 0.703을 기록해, 같은 실험의 Qwen3.6-35B-A3B(0.430)나 Gemma-4-26B-A4B(0.159)를 크게 앞섰다. 다만 이 비교에서 잉클링은 MXFP8 정밀도에 낮은 추론 강도로, 다른 모델은 NVFP4나 INT4로 돌아간 조건 차이가 있었다는 점은 함께 읽어야 한다. 성능과 에너지 효율의 조합은 로컬 하드웨어에서 여러 상주 에이전트를 돌리려는 용도에 특히 잘 맞는다.

모니터링 가능성이라는 숙제

루프 구조는 AI 안전 관점에서 미묘한 긴장을 만든다. 표준 트랜스포머는 토큰마다 고정된 층을 한 번만 통과하기 때문에, 많은 단계가 필요한 추론은 생성된 텍스트, 즉 사고 연쇄(CoT)로 '써내려가야' 한다. 그래서 CoT를 읽으면 모델의 사고를 감시할 수 있다. 그런데 루프는 파라미터를 늘리지 않고도 내부 연산 깊이를 키우므로, 모델이 글로 남기지 않고 머릿속에서 처리하는 추론이 늘어난다. 이는 CoT 모니터가 잡아낼 수 없는 영역이 커진다는 우려로 이어진다.

씽킹 머신즈는 이를 검증하기 위해 패스 수를 1~5회로 가변할 수 있는 연구용 변형 모델(TML-d24-varloop-research)을 함께 공개했다. 측정 결과 CoT 없이 풀 수 있는 작업의 '시간 지평'은 1회 통과 시 16초에서 3회 통과 시 37초로 늘었고, 세 번을 넘어서면 대체로 평평해졌다. 흥미롭게도 다섯 번까지만 학습했는데도 열 번을 돌렸을 때 성능이 크게 무너지지 않았고, 직렬 추론을 측정하는 N-Hop Lookup 과제는 열 번까지 계속 개선됐다. 중요한 것은, 루프가 늘수록 CoT는 짧아졌지만 끝까지 읽을 수 있는 수준을 유지했고, 에이전트 사보타주 테스트에서 수치가 높아지는 경향도 나타나지 않았다는 점이다. 즉 이 규모에서는 모니터링 가능성의 의미 있는 저하가 관찰되지 않았다.

한계와 맥락

모델이 모든 영역에서 앞선 것은 아니다. 다중 대화(MultiChallenge 50.0%)나 제약 조건이 많은 지시 수행(ComplexConstraints v1.1 33.4%)에서는 Qwen3.8-27B에 뒤졌고, CritPt v2나 HLE-Diamond처럼 추론 집약적인 난제에서는 더 큰 모델에 밀렸다. 학습 과정도 특이하다. 384개 전문가 중 8개를 쓰던 구조에서 중간 학습 시점에 가장 많이 쓰인 128개만 남기고 3분의 2를 가지치기해 크기를 줄인 뒤, 내부 상위 모델에서 증류한 1T 토큰으로 성능을 회복시켰다. 가중치 대부분은 NVFP4, 마지막 4개 층은 MXFP8로 학습된 정밀도 그대로 배포돼 양자화 변환 손실이 없다는 점도 특징이다.

정리하면 잉클링 2 미니는 '작지만 깊게 생각하는' 방향으로 성능과 효율을 끌어올린 시도이고, 오픈 웨이트와 가변 루프 연구 모델을 함께 내놓아 루프 트랜스포머의 해석 가능성 연구를 외부에 열었다는 데 의미가 있다. 로컬 에이전트나 온프레미스 추론을 검토하는 팀이라면, 지식은 검색·도구로 보완한다는 전제 아래 시험해 볼 만한 선택지다. 모델은 현재 Tinker에서 추론과 커스터마이즈가 가능하며 연구용 변형은 허깅페이스에 공개돼 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://thinkingmachines.ai/news/inkling-2-mini/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...