파라미터 26억 개짜리 모델이 자기보다 4배 큰 모델과 맞먹는 성능을 낸다면 어떨까요? Liquid AI가 허깅페이스에 공개한 LFM2.5-2.6B가 바로 그런 주장을 들고 나왔어요. 요즘 소형 언어 모델(SLM) 판이 얼마나 빠르게 발전하고 있는지 보여주는 사례라서 한번 찬찬히 뜯어볼게요.
Liquid AI는 어떤 회사냐면
Liquid AI는 MIT에서 스핀오프한 회사예요. 원래 '리퀴드 뉴럴 네트워크'라는, 생물의 신경계에서 영감을 받은 독특한 신경망 구조를 연구하던 팀이거든요. 처음부터 '트랜스포머만이 답은 아니다'라는 노선을 걸어온 곳이라, 이들이 내놓는 모델은 아키텍처부터 주류와 달라요. LFM이라는 이름도 Liquid Foundation Models의 약자고요.
아키텍처가 왜 다른가
보통의 LLM은 트랜스포머, 그러니까 어텐션(attention) 블록을 쭉 쌓은 구조예요. 어텐션이 뭐냐면, 문장을 처리할 때 모든 단어가 다른 모든 단어와의 관계를 계산하는 메커니즘이에요. 문맥 전체를 보는 데는 강력한데, 치명적인 약점이 있어요. 입력이 길어질수록 계산량이 제곱으로 늘어난다는 거죠. 문장이 2배 길어지면 계산은 4배가 되는 거예요.
LFM2 계열은 이 어텐션 블록을 일부만 남기고, 나머지를 게이트가 달린 짧은 컨볼루션(convolution) 블록으로 채운 하이브리드 구조예요. 컨볼루션은 가까운 문맥을 훨씬 싼 비용으로 처리하거든요. 멀리 있는 정보를 엮는 소수의 어텐션과 가까운 패턴을 빠르게 잡는 다수의 컨볼루션을 조합해서, 성능은 지키면서 속도와 메모리를 잡은 거예요. 덕분에 GPU 없이 CPU만으로, 그러니까 스마트폰이나 노트북 같은 기기에서 돌리는 걸 처음부터 목표로 설계됐어요.
작은 모델이 어떻게 큰 모델을 따라잡나
LFM2.5-2.6B는 이 아키텍처의 최신 버전으로, 벤치마크에서 10B급 모델들과 견줄 만한 점수를 낸다고 해요. 몇 년 전 상식으로는 말이 안 되는 일인데, 비결은 크게 세 가지예요. 첫째, 학습 데이터의 양과 질이에요. 작은 모델에 훨씬 많은 고품질 토큰을 먹이면 같은 크기에서도 성능이 계속 올라간다는 게 확인됐거든요. 둘째, 지식 증류예요. 큰 선생님 모델의 출력을 작은 학생 모델이 흉내 내며 배우는 방식이죠. 셋째, 위에서 말한 아키텍처 효율이고요.
이 흐름은 Liquid AI만의 것이 아니에요. 구글의 Gemma, 알리바바의 Qwen 소형 라인업, 마이크로소프트의 Phi, 허깅페이스의 SmolLM까지, 3B 이하 체급의 경쟁이 지금 제일 뜨거워요. 애플 인텔리전스나 갤럭시 AI처럼 온디바이스 AI가 실제 제품에 들어가기 시작하면서, '작지만 똑똑한 모델'이 곧 돈이 되는 시장이 열렸거든요.
한국 개발자에게 주는 시사점
이 체급의 모델은 접근 장벽이 확 낮아요. 2.6B면 양자화(모델을 압축해서 용량을 줄이는 기법)를 거치면 2GB 안팎이라 웬만한 노트북에서 llama.cpp나 Ollama로 바로 돌려볼 수 있어요. 파인튜닝도 고가 GPU 없이 가능한 수준이고요. 개인정보 때문에 데이터를 외부 API로 못 보내는 서비스, 오프라인 동작이 필요한 앱, 응답 지연에 민감한 기능이라면 이런 소형 모델이 현실적인 답이 될 수 있어요. 물론 범용 지식이나 복잡한 추론에서는 여전히 대형 모델과 격차가 있으니, 특정 작업에 맞춰 파인튜닝해서 쓰는 게 정석이에요.
정리하면, '무조건 큰 모델'의 시대에서 '용도에 맞는 크기의 모델'의 시대로 넘어가는 흐름을 보여주는 릴리스예요. 여러분 서비스에 소형 모델로 대체할 수 있는 LLM 호출이 있는지 한번 점검해보는 건 어때요?
🔗 출처: Hacker News