AI 모델들이 같은 결론에 수렴한다는 가설
arXiv에 'JEPA로 플라톤 표현 가설을 증명하고 개선하기'라는 제목의 논문이 올라왔어요. 제목에 철학자 이름이 들어가 있어서 낯설 수 있는데, 하나씩 풀어볼게요.
먼저 플라톤 표현 가설(Platonic Representation Hypothesis, PRH)부터요. 2024년 MIT 필립 아이솔라(Phillip Isola) 연구팀이 ICML에서 발표한 가설이에요. 핵심은 이거예요. 서로 다른 데이터와 구조, 목적으로 학습한 AI 모델이라도 커지고 똑똑해질수록 내부 표현(representation)이 점점 비슷해진다는 거죠.
'표현'이 뭐냐면, 모델이 입력을 받아서 머릿속에 만드는 숫자 벡터라고 생각하면 돼요. 고양이 사진을 넣으면 이미지 모델 안에 어떤 벡터가 생기고, '고양이'라는 단어를 넣으면 언어 모델 안에도 어떤 벡터가 생겨요. 이 가설에 따르면 두 모델이 충분히 클 때 이 벡터들 사이의 '거리 관계'가 닮아가요. 고양이와 호랑이는 가깝고 고양이와 자동차는 멀다는 구조가 이미지 모델과 언어 모델에서 비슷하게 나타난다는 거예요.
왜 하필 '플라톤'이냐면, 동굴 비유 때문이에요. 우리가 보는 건 현실의 그림자일 뿐이고, 그 뒤에 진짜 '이데아'가 있다는 이야기요. 이미지와 텍스트는 같은 현실을 서로 다른 방식으로 비춘 그림자예요. 모델이 똑똑해질수록 그림자 너머에 있는 같은 현실의 구조를 복원하게 된다는 비유죠. 원 논문은 이걸 상호 최근접 이웃(mutual nearest neighbor) 기반 지표로 측정했어요. 모델 규모와 성능이 올라갈수록 정렬도가 높아지는 경향을 보였고요.
JEPA는 뭐고, 왜 여기에 등장할까
JEPA(Joint Embedding Predictive Architecture)는 얀 르쿤(Yann LeCun)이 오랫동안 밀어온 자기지도학습 구조예요. I-JEPA, V-JEPA 같은 모델이 메타 FAIR에서 나왔죠. 보통 생성형 모델은 다음 토큰이나 가려진 픽셀을 그대로 맞히도록 학습하잖아요. JEPA는 그 대신 가려진 부분의 표현, 즉 임베딩을 예측해요.
비유하면 이래요. 사진 일부를 가리고 '가려진 곳의 픽셀을 하나하나 그려봐'라고 하면 나뭇잎 하나하나까지 맞혀야 해서 쓸데없이 힘들어요. 반면 '가려진 곳에 뭐가 있는지 개념적으로 말해봐'라고 하면 '나무가 있고 그 뒤에 하늘'처럼 본질적인 정보에 집중하게 되죠. JEPA는 후자를 하는 거예요. 예측할 수 없는 세부 노이즈는 버리고, 예측 가능한 구조만 남기도록 유도하는 셈이에요. 2025년에는 학습을 안정시키던 각종 꼼수 없이 이론적으로 깔끔하게 정리한 LeJEPA도 나왔어요.
여기서 연결고리가 보여요. PRH가 맞다면, 모델들이 공통으로 수렴하는 표현은 무엇이고 어떤 학습 방식이 거기에 가장 잘 도달할까요? JEPA는 노이즈를 버리고 세계의 예측 가능한 구조만 배우도록 설계됐어요. 그래서 플라톤적 표현에 도달하기 유리한 후보처럼 보이거든요. 실제로 이전 이론 연구에서도 JEPA 계열이 노이즈 많은 특징보다 영향력 있는 특징을 먼저 학습하는 경향이 있다는 분석이 나왔어요.
이 논문이 노리는 지점
제목대로라면 이 논문은 두 가지를 하려고 해요. 하나는 증명이에요. PRH는 지금까지 주로 실험 관찰에 기댄 가설이었거든요. 'JEPA로 학습하면 특정 조건에서 서로 다른 모델의 표현이 같은 구조로 수렴한다'는 걸 수학적으로 보인다면, 관찰을 이론으로 끌어올리는 의미가 있어요. 다른 하나는 개선이에요. 그 이론을 바탕으로 모델 간 표현 정렬을 더 잘 만드는 방법을 제시하는 거죠. 정리(theorem)의 가정과 실험 결과는 원문에서 꼭 확인해보세요. 이런 증명은 '선형 모델', '충분히 많은 데이터' 같은 가정 위에서 성립하는 경우가 많아서, 가정이 얼마나 현실적인지가 관건이거든요.
업계 맥락: 생성이냐 예측이냐
AI 업계에는 큰 논쟁이 하나 있어요. GPT류처럼 '모든 걸 생성하면서 배운다'는 진영과, 르쿤처럼 '생성은 낭비이고 추상 표현을 예측해야 진짜 세계 모델이 된다'는 진영이에요. PRH를 JEPA로 뒷받침하는 연구는 후자 진영에 이론적 무게를 실어줘요.
실용적인 의미도 있어요. 모델 간 표현이 같은 구조로 수렴한다면, 서로 다른 모델의 임베딩을 간단한 변환만으로 이어붙일 수 있다는 얘기가 되거든요. 실제로 서로 다른 임베딩 공간 사이를 번역하는 연구(vec2vec 등)가 이미 나왔어요. LLaVA처럼 학습이 끝난 비전 인코더와 언어 모델을 작은 어댑터로 연결하는 방식이 잘 통하는 이유도 이 가설로 설명할 여지가 있어요.
한국 개발자에게 주는 시사점
당장 코드로 쓸 일은 적지만 알아둘 이유는 충분해요. RAG나 검색 시스템을 운영하다 보면 '임베딩 모델을 바꾸면 벡터 DB를 전부 다시 만들어야 하나?'라는 고민을 하게 되잖아요. 표현이 수렴한다는 이론이 탄탄해질수록 모델 간 임베딩 변환 기법이 실무 도구로 내려올 가능성도 커져요. 멀티모달 서비스를 기획할 때도 도움이 돼요. 거대한 모델을 처음부터 학습하는 것보다 잘 학습된 인코더들을 정렬해서 쓰는 전략이 왜 효율적인지 이해할 수 있거든요.
마무리
한 줄 정리: '똑똑한 모델은 결국 같은 세계를 본다'는 관찰을, 생성이 아닌 예측 기반 학습(JEPA)으로 이론화하려는 시도.
여러분은 AI 모델들이 정말 하나의 '이데아'로 수렴한다고 보시나요? 아니면 학습 데이터와 목적에 따라 끝까지 서로 다른 세계관을 갖게 될까요?
🔗 출처: Hacker News