대형 언어 모델이 어디에서 배웠는지를 밝히는 일은 생각보다 어렵다. 학습 데이터는 공개되지 않고, 가중치만 봐서는 어떤 모델의 출력을 흉내 냈는지 알기 힘들다. 최근 한 개발자가 공개한 'reasoning prefill' 실험은 이 질문에 정면으로 접근한다. 특정 '교사(teacher)' 모델의 답변 일부를 다른 '대상(target)' 모델의 응답 앞부분에 슬쩍 심어 놓고, 대상 모델이 그 흐름을 얼마나 자연스럽게 이어받는지를 측정하는 방식이다. 익숙한 사고 패턴일수록 이어받기가 매끄러워진다는 가정에서 출발한다.
실험은 어떻게 설계됐나
이번 버전(v1.1)은 앞선 실험을 다시 돌리되 교사 모델을 GPT-5.5 Pro로 바꿔 진행했다. 각 문제마다 대상 모델에서 두 개의 응답을 생성했고, 겉으로 보이는 답변 자체는 모델이 자유롭게 쓰도록 뒀다. 핵심 지표는 교사 모델의 답변 내용이 대상 모델 답변의 첫 100개 토큰 안에 얼마나 등장하는가다. 점수는 유니그램·바이그램·트라이그램 단위의 소스 재현율(source recall)을 평균 낸 값이며, 변화량은 절대 백분율 포인트로 계산했다. 평가 문제는 총 45개로 STEM 15개, 비STEM 15개, 그리고 외부에 공개되지 않은 합성 퍼즐 15개로 구성됐다.
합성 퍼즐을 따로 둔 점이 중요하다. 잘 알려진 벤치마크 문제는 어떤 모델이든 학습 과정에서 접했을 가능성이 있어 '닮음'이 우연일 수 있다. 반면 비공개 퍼즐에서 특정 교사와의 겹침이 크게 나타난다면, 그 유사성은 문제 자체를 외운 결과가 아니라 사고 전개 방식이 닮았다는 신호로 해석할 여지가 커진다.
Qwen과 Kimi에서 드러난 신호
결과에서 가장 눈에 띈 것은 Qwen이다. 이전 실험에서 Qwen은 Opus 4.8 쪽으로는 거의 움직이지 않았는데, 이번 GPT-5.5 Pro 실험에서는 +18.18포인트나 이동했다. 특히 비공개 합성 퍼즐에서 큰 효과가 나타났다. 실험자는 이를 두고 Qwen이 Opus가 아니라 GPT-5.5 Pro 혹은 그와 가까운 계열의 GPT 모델로부터 배웠을 가능성을 시사하는 데이터로 해석했다. 반면 Kimi K3은 프리필이 없을 때도(31.11%) 있을 때도(35.65%) GPT-5.5 Pro와의 겹침이 가장 높았지만, 프리필로 인한 증가폭은 +4.54포인트에 그쳤다. 애초에 겹침이 높아 프리필이 더 밀어붙일 여지가 적었던 셈이다.
실무자가 새겨둘 지점과 한계
국내 실무자에게 이 실험이 주는 함의는 두 가지다. 첫째, 오픈 웨이트 모델을 도입할 때 그 모델이 어떤 계열의 출력을 학습했는지가 라이선스·데이터 출처·재현 가능성 측면에서 실질적 리스크가 될 수 있다는 점이다. 특정 상용 모델의 응답을 대량으로 증류(distillation)한 흔적이 있다면, 이는 이용 약관이나 향후 규제 논의에서 문제가 될 소지가 있다. 둘째, 모델 계보를 추정하는 데 값비싼 내부 접근 없이도 행동 기반의 간접 측정이 가능하다는 방법론적 시사점이다.
다만 결과를 과신해서는 곤란하다. 문제 수가 45개에 불과한 소규모 실험이고, 겹침이 크다는 사실이 곧 특정 모델로부터 직접 배웠다는 인과의 증거는 아니다. 서로 다른 모델이 비슷한 공개 웹 텍스트나 유사한 정렬(alignment) 기법을 공유해도 사고 표현이 수렴할 수 있다. 교사 모델을 'GPT-5.5 Pro 혹은 가까운 GPT 계열'이라 조심스럽게 표현한 것도 이 때문이다. 개인이 공개한 실험 노트 수준의 자료라는 점, 재현을 위한 세부 프롬프트와 채점 코드가 온전히 검증되지 않았다는 점도 함께 감안해야 한다.
그럼에도 이 접근이 흥미로운 이유는, 모델의 '족보'를 둘러싼 논쟁이 점점 뜨거워지는 상황에서 검증 가능한 정량 지표 하나를 제시했다는 데 있다. 벤치마크 점수만으로는 보이지 않던 모델 간의 계보와 상호 모방을 행동 관찰로 드러내려는 시도이며, 앞으로 더 큰 표본과 공개된 방법론으로 확장된다면 오픈 모델 생태계의 투명성을 따지는 실용적 도구로 자리 잡을 가능성이 있다.