대형 언어 모델의 성능은 파라미터 수와 학습 데이터가 늘어날수록 좋아진다는 스케일링 법칙 위에 서 있다. 특히 전문가 혼합(MoE) 구조는 거대한 파라미터 저장고 중 토큰마다 일부만 활성화하는 방식으로 이 법칙을 효율적으로 활용해 인상적인 성과를 냈다. 그러나 이 성공은 어디까지나 학습이 끝난 시점에 고정된 정적 데이터를 전제로 한다. 실제로 배포된 모델이 마주하는 세계는 다르다. 모델을 더 유용하게 만들 데이터의 상당수는 학습 데이터가 아니라 지금 처리 중인 대화, 즉 사용자가 알려주는 사실이나 교정 속에 들어 있다.
문제는 기존 모델이 이런 실시간 데이터로부터 학습하지 못한다는 점이다. 학습이 끝나면 가중치가 얼어붙기 때문이다. 그래서 실행 시점에 주어지는 지식과 행동은 검색(retrieval)이나 지시(instruction)를 통해 프롬프트에 담기고, 매 요청마다 다시 읽힌 뒤 요청이 끝나면 버려진다. 맥락은 소비될 뿐 모델 안에 축적되지 않는다. 새 논문 'Infinite-Parameter LLMs'는 바로 이 지점을 겨냥한다. 실시간 상호작용에서 얻은 정보를 프롬프트가 아니라 가중치에 써 넣는 구조는 가능한가를 묻는다.
저장된 가중치가 아니라 생성되는 가중치
제안의 핵심은 MoE에서 착안하되 발상을 뒤집는 데 있다. MoE가 고정된 거대 파라미터 은행에서 필요한 전문가를 골라 활성화한다면, 무한 파라미터 LLM은 아예 가중치를 저장해 두지 않고 실시간 데이터로부터 만들어낸다. 구체적으로는 소형 하이퍼네트워크가 실행 시점에 주어진 데이터를 공유 기반 네트워크에 대한 저계수(low-rank) 변조로 변환한다. 그 결과 피드포워드 가중치는 고정된 은행에서 꺼내는 것이 아니라 그 자리에서 생성된다. 저장 용량은 그대로지만, 컴파일해 낼 수 있는 가중치의 조합은 사실상 무한하다는 것이 '무한 파라미터'라는 이름의 근거다.
기존에도 문맥을 읽어 가중치를 생성하는 시도는 있었다. 다만 그것들은 문맥을 한 번 읽고 나면 결과를 고정했다. 이 연구가 내세우는 차별점은 생성기의 잠재 코드(latent code)에 대한 베이지안 신념(Bayesian belief)을 들고 다니며 온라인으로 갱신한다는 점이다. 세션이 진행되는 동안 유효 가중치는 한 번의 읽기로 굳는 것이 아니라, 계속 변해 가는 신념으로부터 매번 다시 도출된다. 대화가 이어질수록 모델이 사용자의 정보를 반영해 스스로를 조정해 나가는 그림이다.
실무적으로 무엇이 달라지나
지식과 행동을 프롬프트가 아니라 가중치에 담는 방식은 몇 가지 실무적 이점을 갖는다고 저자들은 정리한다. 우선 매 요청마다 같은 맥락을 다시 읽는 비용이 계산상 분할 상환(amortized)된다. 프롬프트에 상주하던 내용이 가중치로 옮겨가므로 컨텍스트 창(context window)이 그만큼 비워지고, 정보가 턴을 넘어 지속된다. 나아가 문맥 내 학습(in-context learning)보다 일반화가 더 잘 될 수 있다는 기대도 제시된다. 검색과 긴 프롬프트로 버티던 현재의 개인화·세션 기억 방식이 안고 있는 비용과 창 크기 제약을 정면으로 겨냥한 셈이다.
다만 이 논문은 어디까지나 아키텍처 제안과 평가 프로토콜의 성격이 강하다는 점을 분명히 읽어야 한다. 초록은 이 방식을 문맥 내 학습 및 검색과 정확히 비교하는 평가 프로토콜을 규정한다고 밝히지만, 공개된 요약 범위에서는 구체적인 성능 수치나 실측 결과가 제시되지 않는다. 즉 '가중치가 프롬프트보다 낫다'는 주장은 아직 설계상의 기대이자 검증 대상이지, 확정된 결론으로 받아들일 단계는 아니다.
실무자 관점에서 눈여겨볼 지점은 방향성이다. 온라인으로 갱신되는 저계수 변조는 이미 널리 쓰이는 LoRA 계열의 어댑터 발상과 하이퍼네트워크, 그리고 순차적 베이지안 갱신을 하나로 엮은 형태로 볼 수 있다. 만약 세션 중 사용자의 교정을 가중치에 안정적으로 반영하는 일이 기술적으로 검증된다면, 검색증강생성(RAG)과 긴 컨텍스트 중심으로 굳어져 온 개인화 스택의 무게중심이 이동할 여지가 생긴다. 반대로 실시간 가중치 갱신에는 안정성, 이전 정보의 망각, 잘못된 사용자 입력의 학습 같은 위험이 따르므로, 평가 프로토콜이 이런 실패 양상까지 얼마나 촘촘히 다루는지가 이 구상의 실용성을 가를 관건이 될 것이다.