TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 47 READS

모델이 스스로 가중치를 고쳐 쓴다: '자기 재작성'이 던진 질문

지금까지 언어 모델은 한 번 학습한 뒤 얼어붙은 상태로 서비스된다는 전제 위에서 다뤄졌다. 성능을 더 끌어올리려면 다시 학습을 돌리거나, 프롬프트를 손보거나, 추론 시점에 연산을 더 투입하는 길밖에 없었다. 그런데 이들 방법의 공통점은 개선분이 가중치에 남지 않는다는 데 있다. 프롬프트 엔지니어링이나 추론 시 연산 확대는 작업이 끝나는 순간 사라지고, 다음 질문에서 다시 비용을 치러야 한다. arXiv에 공개된 한 연구는 여기에 세 번째 길을 제시한다. 모델이 스스로의 추론만으로 자기 가중치를 고쳐 써서 더 나아진다는 것이다. 경사하강법도, 추가 학습도 없이 말이다.

모델이 자기 자신의 옵티마이저가 된다

연구진은 이를 '자기 재작성(self-rewriting)'이라 부른다. 핵심은 모델이 자신의 가중치, 채점된 자신의 답안, 그리고 스스로를 실행해 볼 수 있는 능력을 함께 쥐고 있다는 설정이다. 과거 연구에서는 성능이 앞선 대형 모델이 훨씬 작은 모델을 손봐 주는 구도였다면, 이번에는 공개된 270억(27B) 파라미터 모델이 자기 실패 원인을 진단하고 그 뒤에 있는 가중치를 직접 다시 쓴다. 외부의 더 큰 모델이 개입하지 않고, 모델이 자신에 대한 옵티마이저 역할을 맡는다는 점이 이전 접근과 구분되는 지점이다.

결과로 제시된 수치는 비교적 구체적이다. 모델이 스스로 만든 편집은 한 번도 본 적 없는 문제에서 정확도를 6.6포인트 끌어올렸다고 한다. 더 눈길을 끄는 것은 반복 과정이다. 모델은 자신이 만든 편집을 연습 문제로 검증한 뒤, 효과가 확인된 것만 반영한다. 이렇게 매 편집이 직전보다 나아지도록 쌓이고, 연속 여덟 세션에 걸쳐 정확도가 꾸준히 올라갔다는 설명이다. 즉 단발성 개선이 아니라 점진적 누적이 관찰됐다는 주장이다.

망가진 복제본을 스스로 복구하다

또 하나 흥미로운 실험은 손상된 복제본의 자가 복구다. 거의 아무 문제도 풀지 못하게 망가진 복사본을, 모델은 재학습 없이, 심지어 원본 가중치를 들여다보지도 않은 채 되살렸다. 그 결과 한 번도 학습하지 않은 이미지 과제에서 원본 정확도의 80% 이상을 회복했다고 한다. 연구진은 이를 '다시 조립되지 않고도 스스로 고치는 고장 난 로봇'에 빗댔는데, 비유의 수사를 걷어내더라도 '외부 개입 없는 복원'이라는 성격은 분명하다.

한 가지 중요한 단서는 이 능력이 규모에 따라 출현한다는 점이다. 같은 모델 계열 안에서 작은 모델들은 아무 편집도 하지 못하거나 오히려 자기 자신을 망가뜨렸고, 가장 큰 모델만이 개선과 복구에 성공했다. 능력이 모든 크기에서 균일하게 나타나는 것이 아니라 일정 규모를 넘어서야 비로소 창발한다는 것인데, 이는 실무자 입장에서 재현 가능성과 적용 범위를 가늠할 때 반드시 염두에 둬야 할 조건이다.

추론과 학습의 경계를 다시 묻다

자기 재작성의 실무적 함의는 비용 구조에 있다. 추론 시 연산을 늘리는 방식은 답을 낼 때마다 비용이 붙지만, 자기 재작성은 개선분을 가중치에 새겨 넣기 때문에 답변 단위 추가 비용이 들지 않는다. 동시에 학습과 달리 순전파(forward pass)만 사용하므로, 지금의 서빙 인프라가 돌리는 연산 형태와 다르지 않다. 연구진은 여기서 '학습과 추론 사이의 벽은 지능의 속성이 아니라 우리 도구의 한계'라는 다소 도발적인 해석을 내놓는다.

다만 이 주장을 받아들일 때는 거리 두기가 필요하다. 제시된 성과는 특정 모델과 특정 과제 집합에서 나온 것이고, 6.6포인트 향상이나 80% 복구 같은 수치가 어떤 벤치마크·조건에서 측정됐는지는 본문에서 충분히 드러나지 않는다. 자기 편집이 일부 과제에서 작동했다는 사실이, 안전하게 통제되고 일반 과제 전반으로 확장된다는 보장으로 이어지지는 않는다. 모델이 자기 가중치를 고쳐 쓴다는 설정 자체가 검증과 통제의 난도를 높이는 만큼, 운영 환경에서는 편집 결과의 회귀 검사와 롤백 체계가 전제돼야 한다.

그럼에도 방향성은 주목할 만하다. 연구진은 자기 재작성을 재귀적 자기 개선으로 가는 필수 단계로 본다. 사람처럼 학습과 추론을 분리하지 않는 모델이라면, 더 큰 모델이나 별도의 프롬프트 엔지니어링, 사전·사후 학습 없이도 스스로를 계속 갱신해 갈 수 있다는 것이다. 한국의 IT 실무자에게 이 연구는 당장의 제품 기술이라기보다, 모델 운영 패러다임이 '고정된 산출물'에서 '스스로 변하는 시스템'으로 이동할 가능성을 미리 검토해 보라는 신호에 가깝다. 재현 조건과 안전 통제가 뒤따를 때에야 의미가 분명해질 초기 결과로 읽는 것이 타당하다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://arxiv.org/abs/2611.21885
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...