TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 80 READS

픽셀을 버린 세계 모델, JEPA의 진짜 병목은 예측이 아니라 계획이었다

픽셀을 버린 세계 모델, JEPA의 진짜 병목은 예측이 아니라 계획이었다
SOURCE IMAGE · HACKER NEWS

로봇이나 에이전트가 "다음에 무슨 일이 일어날지"를 내부에서 시뮬레이션하는 세계 모델(world model)은 지금 AI 연구에서 가장 뜨거운 주제 중 하나다. 주류는 미래를 픽셀 단위로 생성해 예측하는 생성형 세계 모델이지만, 얀 르쿤을 비롯한 일부 연구자들은 이 방식이 낭비라고 본다. 행동을 결정하는 데 대부분의 픽셀은 중요하지 않고, 상당수는 애초에 예측 자체가 불가능하기 때문이다. 그 대안으로 제시된 것이 JEPA(joint-embedding predictive architecture), 즉 공동 임베딩 예측 구조다.

픽셀 대신 임베딩에서 계획한다

JEPA는 인코더, 예측기, 플래너의 세 부분으로 구성된다. 인코더는 관측된 각 프레임을 장면을 압축한 임베딩 벡터로 바꾸고, 예측기는 현재 임베딩과 행동을 받아 다음 프레임의 임베딩을 예측한다. 플래너는 예측기 안에서 수백 가지 행동 시퀀스를 돌려본 뒤 예측된 최종 상태가 목표 임베딩에 가장 가까운 것을 고른다. 전 과정이 임베딩 공간에서 돌아가므로, 모델은 행동 결정에 필요한 부분만 학습하면 된다. 르쿤이 참여한 팀이 올해 공개한 LeWM이 대표적 구현으로, 벤치마크는 로봇이 회색 T자 블록을 목표 이미지 위치까지 밀어 넣는 시뮬레이션 Push-T다.

한 연구자가 이 LeWM을 대상으로 600회의 실험을 수행하며 얻은 결론은 직관과 반대였다. 그는 먼저 예측기가 성능을 얼마나 깎아먹는지 보려고 예측기를 시뮬레이터의 완벽한 물리 엔진으로 교체했다. 목표가 75스텝 떨어진 장기 과제에서 기본 LeWM은 78%, 완벽한 물리 버전은 77% 성공했다. 학습된 경로 위에서라면 LeWM의 예측은 이미 계획용으로 완벽한 물리만큼 정확하다는 뜻이다. 목표가 25스텝일 때도 89.7% 대 90.5%로 차이가 한 점 안쪽이었다. 결국 모델은 25스텝까지는 거의 완벽하고 75스텝에서 무너지는데, 이 격차의 원인은 흔히 말하는 "예측 오차 누적"이 아니라 계획 방식에 있었다.

모델을 다시 학습시키지 않고 22%를 85%로

실제로 과제를 25스텝짜리 구간으로 쪼개 이어 붙이자 성공률이 거의 60점 올랐고, 완벽한 물리로 교체했을 때의 20점을 크게 앞질렀다. LeWM의 유효 계획 지평은 약 25스텝이므로, 이 길이의 구간을 연결하는 계층적 계획(상위가 서브골을 정하고 하위가 도달)이 핵심이라는 것이다. 단순히 플래너를 네 번 돌려 최저 비용 계획을 고르는 식의 추가 탐색은 연산만 4배 쓰고 1점도 못 올렸다. 네 번의 시도가 거의 항상 함께 성공하거나 함께 실패했기 때문이다.

다만 서브골을 전문가 시연에서 가져오는 방식은 실제 로봇에선 쓸 수 없다. 그래서 연구자는 시연들을 인코딩한 약 46만 개 상태를 그래프로 엮어, 현재 상태에서 목표까지의 경로를 탐색하고 그 경로상의 상태들을 서브골로 쓰게 했다. 임베딩 거리가 물리적 도달 가능성을 반영한다는 점(도달 가능한 서브골을 87% 확률로 더 가깝게 평가)이 이를 뒷받침한다. 초기엔 서로 다른 시연 사이의 점프에 실제 한 걸음과 같은 비용을 매겨 블록이 따라갈 수 없는 경로가 생겼는데(1,015개 계획 중 318개가 점프 6회 이상 사용), 점프마다 비용을 더하는 수정만으로 성공률이 62%에서 85%로, 전문가 서브골을 받은 플래너와 같은 수준에 도달했다.

벤치마크의 함정과 남은 숙제

여기서 중요한 경고가 나온다. Push-T의 모든 시연은 블록이 같은 위치에서 끝나기 때문에 표준 테스트의 목표들은 시연이 이미 지나가는 경로 위에 놓인다. 목표의 84%는 메모리 그래프에 거의 동일한 상태가 이미 존재했다. 공식 50개 에피소드에서 68%였던 성공률이 같은 방식으로 뽑은 250개에서는 44%로 떨어졌고, 난수 시드만 바꿔도 250개 중 38개가 성공과 실패를 오갔다. 이에 연구자는 시작과 목표를 서로 다른 시연에서 가져오는 더 어려운 테스트를 만들었고, 메모리 그래프 플래너는 표준 75%, 신규 45%를 기록했다.

특히 날카로운 발견은 목표를 이미지로 주는 방식 자체의 함정이다. 목표 이미지는 블록뿐 아니라 그 순간 밀대(pusher)의 위치까지 담고 있어, 전체 이미지와 비교하는 플래너는 밀대까지 그 자리에 맞추려 한다. 완벽한 물리 플래너로 50개 과제를 돌려 비용에서 밀대 위치를 뺐더니 30개가 실패에서 성공으로 뒤집혔고 반대 방향은 하나도 없었다. 우연이라면 10억 번에 두 번꼴이다. 즉 성공률의 상당 부분이 모델이 아니라 목표를 어떻게 정의했느냐에 달려 있었다. LeWM의 임베딩은 블록과 밀대를 한 덩어리로 담아 분리할 수 없지만, 밀대 위치를 바꾼 16가지 목표 이미지 중 가장 가까운 것과 비교하는 방식으로 재학습 없이 성공률을 11%에서 23%로 두 배 올렸다.

실무적 함의는 분명하다. 좋은 목표는 이미지 한 장의 복제가 아니라 과제를 푸는 모든 종료 상태의 집합이어야 한다. "컵을 선반에 올려라"는 팔이 어디서 멈추든 해결된 것이며, 특정 팔 위치를 박아 넣은 목표 이미지는 불필요한 제약을 건다. 네 가지 방법 모두 모델 가중치를 전혀 건드리지 않고 같은 방식으로 계획하는 더 큰 JEPA 모델에도 적용될 수 있다는 점이 핵심이다. 남은 가장 큰 숙제는 완벽한 시연이 없는 과제로의 일반화다. 더 어려운 Push-T 테스트에서 최고 플래너도 56%에 그치며 실패 대부분은 데이터 흐름과 반대 방향의 목표다. 이를 메우려면 시연을 넘어 스스로 서브골을 제안하는 상위 계층이 필요한데, H-JEPA 같은 기존 학습형 계층은 아직 평면 LeWM과 비슷하거나 약간 나은 수준에 머물러 있다. 작은 JEPA의 예측은 이미 시뮬레이터만큼 정확하다는 전제 아래, 진짜 전장은 모델이 아니라 계획 방식으로 옮겨가고 있는 셈이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://haddyalchaer.com/jepa
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...