178개 AI 모델의 '글쓰기 지문'을 분석했더니, 놀라운 유사성 지도가 나왔다

AI 모델도 필체가 있다?

사람마다 글쓰기 스타일이 다르듯, AI 모델에도 고유한 '문체 지문'이 있다는 사실을 아시나요? rival.tips라는 리서치 팀이 무려 178개의 AI 모델을 대상으로 글쓰기 스타일을 분석하고, 서로 얼마나 비슷한지를 군집(cluster) 지도로 시각화한 연구 결과를 공개했어요. 결과를 보면 "아, 이 모델이랑 저 모델이 이렇게 가까웠어?" 하는 흥미로운 발견이 꽤 많거든요.

모델 지문 분석, 어떻게 하는 걸까

이 연구의 핵심 아이디어는 '스타일로메트리(stylometry)'라는 개념이에요. 이게 뭐냐면, 문장 길이, 특정 단어 사용 빈도, 문장 구조 패턴 같은 통계적 특징을 뽑아서 글쓴이를 식별하는 기법인데요. 원래는 익명 저자의 정체를 밝히는 데 쓰이던 방법이에요. 셰익스피어의 작품 저자 논쟁에도 사용된 적 있을 정도로 역사가 깊죠.

이걸 AI 모델에 적용한 거예요. 178개 모델 각각에게 동일한 프롬프트를 주고, 생성된 텍스트에서 다양한 문체 특징을 추출한 다음, 모델 간의 유사도를 계산해서 클러스터링을 수행한 거죠. 쉽게 말하면, "비슷하게 글을 쓰는 모델끼리 묶어봤다"는 거예요.

결과를 보면 몇 가지 재미있는 패턴이 드러나요. 같은 회사에서 나온 모델끼리는 당연히 유사도가 높은 편이에요. 예를 들어 GPT 계열 모델들은 서로 가까운 클러스터를 형성하고요. 하지만 흥미로운 건, 완전히 다른 회사의 모델인데도 문체가 놀랍도록 비슷한 경우가 있다는 점이에요. 이건 학습 데이터의 유사성이나, 유사한 파인튜닝 방법론을 사용했을 가능성을 시사하는 부분이죠.

왜 이 연구가 중요한가

"AI 모델의 문체를 분석하는 게 뭐가 중요해?"라고 생각할 수 있는데요, 실은 꽤 실용적인 의미가 있어요.

첫째, AI 생성 콘텐츠 탐지 분야에서 직접적으로 활용돼요. 어떤 텍스트가 AI가 쓴 건지, 사람이 쓴 건지 판별할 때 모델별 문체 지문을 알고 있으면 정확도가 올라가거든요. 더 나아가 "어떤 모델이 생성했는지"까지 추정할 수 있게 되는 거예요.

둘째, 모델 출처 추적(model provenance)에 도움이 돼요. 요즘 오픈소스 모델을 기반으로 파인튜닝해서 새 모델을 만드는 경우가 정말 많잖아요. 그런데 어떤 모델이 어떤 베이스 모델에서 파생된 건지 명확히 밝히지 않는 경우도 있어요. 문체 유사도 분석을 하면 "이 모델은 아마 저 모델을 베이스로 만들어졌을 것"이라는 추정이 가능해지는 거죠.

셋째, 모델 선택에도 참고가 돼요. 비슷한 성능이라면 문체가 자신의 용도에 더 적합한 모델을 고르는 데 이런 유사성 지도가 도움이 될 수 있어요.

업계에서 비슷한 시도들

모델 식별이나 AI 텍스트 탐지 분야는 최근 정말 뜨거운 영역이에요. GPTZero, Originality.ai 같은 AI 탐지 서비스들이 이미 시장에 나와 있고, 각 LLM 제공사들도 워터마킹 기술을 연구하고 있거든요. OpenAI도 텍스트 워터마킹 시스템을 개발 중이라고 밝힌 바 있고요.

다만 이 연구처럼 178개나 되는 대규모 모델을 한꺼번에 비교 분석한 사례는 드물어요. 대부분의 선행 연구가 소수의 주요 모델만 대상으로 했거든요. 이 점에서 이번 연구의 스케일은 꽤 인상적이에요.

한국 개발자에게 주는 시사점

한국에서도 AI 생성 콘텐츠의 판별은 점점 중요한 이슈가 되고 있어요. 교육 현장에서의 AI 과제 문제, 콘텐츠 플랫폼에서의 AI 생성 글 필터링, 저작권 이슈 등 다양한 맥락에서 "이거 AI가 쓴 거야?"라는 질문이 나오고 있거든요. 이런 문체 분석 기법을 이해해두면, AI 탐지 시스템을 구축하거나 기존 시스템을 평가할 때 큰 도움이 될 거예요.

또한 자체 LLM을 파인튜닝하고 있는 팀이라면, 의도치 않게 특정 모델의 문체를 그대로 물려받고 있는 건 아닌지 점검하는 용도로도 활용할 수 있어요.