서로 다른 데이터를 학습한 AI 모델이 결국 세계에 대한 동일한 내부 표현으로 수렴하는가는 오랫동안 추측의 영역이었다. 이른바 '플라톤적 표현 가설(Platonic Representation Hypothesis, PRH)'은 언어 모델과 비전 모델처럼 전혀 다른 모달리티로 훈련된 시스템도 규모가 커질수록 세계를 같은 방식으로 표상하게 된다고 주장해 왔다. 흥미로운 직관이지만, 증명이 없는 가설은 그것이 반드시 일어난다는 보장도, 어떻게 하면 그 상태에 도달하는지에 대한 처방도 주지 못한다. 최근 arXiv에 공개된 한 연구는 바로 이 지점을 파고들어, 가설을 정리(theorem)로 바꾸려 시도한다.
가설을 정리로
연구진이 제시한 '플라톤적 표현 정리'의 핵심 대상은 JEPA(Joint-Embedding Predictive Architecture), 즉 공동 임베딩 예측 구조다. 주장은 이렇다. 여러 모달리티에 대해 각각 따로 훈련한 JEPA라도, 그 양성 쌍(positive pair)이 하나의 장면을 바라본 두 개의 관측 — 연구진이 '좋은 뷰(good views)'라 부르는 것 — 이고 그 외의 불일치가 일정 한도 안에 묶여 있다면, 학습된 표현은 단 하나의 회전(rotation) 변환을 제외하고 서로 동일해진다. 다시 말해 모달리티가 다르더라도 적절한 학습 신호만 주어지면 본질적으로 같은 좌표계를 공유하게 된다는 것이다.
이 틀은 대규모 언어 모델이 왜 비전 모델과 '규모를 키워야만' 가까스로 정렬되는지도 설명한다. 연구진은 다음 토큰 예측(next-token prediction)을 사실상 '나쁜 뷰(bad views)'를 쓰는 JEPA로 해석한다. 하나의 문서를 잘라낸 조각들은 같은 장면의 두 관측이 아니라 느슨하게 연결된 부분들이기 때문에, 좋은 뷰에 비해 정렬 효율이 크게 떨어진다. 언어 모델이 거대한 규모에 이르러서야 비전과 맞아떨어지는 현상은 이 비효율의 결과라는 설명이다.
실험으로 드러난 격차
이론은 14만 5천 개 캡션부터 9억 4천만 장 웹 이미지의 텍스트에 이르는 규모에서 검증됐다. 연구진은 여기서 '정렬의 스케일링 법칙'을 발견했는데, 이 법칙은 아직 돌려보지 않은 실험의 결과를 시드 잡음 수준의 오차 안에서 예측했다고 한다. 수치는 격차를 분명하게 보여준다. 같은 코퍼스에서 동일한 정렬 수준에 도달하는 데 좋은 뷰는 다음 토큰 예측보다 42배 적은 훈련 샘플만을 필요로 했다.
모델 규모 대비 효율은 더 극적이다. 1억 900만 파라미터짜리 텍스트 JEPA가 DINOv2와 CLIP의 이미지 인코더에 대해, 연구진이 평가한 최대 720억 파라미터 규모의 모든 언어 모델보다, 그리고 CLIP 자신의 텍스트 인코더보다도 더 잘 정렬됐다. 파라미터를 수백 배 더 쓴 모델들이 작은 JEPA에 밀렸다는 뜻으로, 다음 토큰 예측이 플라톤적 표현에 도달하는 경로로는 상당히 비효율적임을 시사한다.
회전 하나의 쓸모
정리의 '회전 하나' 조건은 단순한 수학적 수사가 아니라 실제 응용으로 이어진다. 따로 훈련한 인코더들에 회전 변환 하나를 적용하자 이미지 캡션 생성기가 만들어졌고, COCO에서 CIDEr 0.838을 기록했다. 더 나아가 이 회전은 짝지어진 데이터조차 필요로 하지 않았다. 최신 페어프리(pair-free) 벤치마크에서 텍스트 JEPA는 최대 80억 파라미터 언어 모델로 보고된 모든 제로샷 정확도를 넘어섰으며, ImageNet-100에서는 상위 5개 기준 64%로 상대 모델들의 최대 56%를 앞섰다.
한국의 실무자 입장에서 이 연구가 주는 함의는 '크게 만들면 결국 통한다'는 통념을 되짚게 한다는 점이다. 멀티모달 정렬이 필요한 검색, 캡셔닝, 교차 모달 검색 같은 과제에서, 막대한 파라미터와 데이터를 투입하기 전에 양성 쌍을 어떻게 구성하는가 — 같은 장면의 두 관측을 확보할 수 있는가 — 가 더 결정적인 지렛대일 수 있다는 방향을 제시한다. 다만 이는 아직 arXiv 단계의 결과이며, 검증 범위가 특정 벤치마크와 인코더 조합에 한정된다는 점, '좋은 뷰'를 현실 데이터에서 안정적으로 확보하는 비용이 과제별로 다르다는 점은 적용에 앞서 따져봐야 할 한계다. 규모만이 아니라 양성 뷰의 질이 지렛대라는 주장이 더 넓은 재현으로 이어질지가 관전 포인트다.