소프트웨어 엔지니어가 알고리즘과 데이터셋에 공을 들이는 사이, 로봇 연구에서는 종종 간과되는 변수가 있다. 바로 로봇의 '몸체(embodiment)' 자체다. 아무리 뛰어난 제어 정책을 학습시켜도 링크 길이, 관절 배치, 모터 특성이 작업에 맞지 않으면 성능은 근본적으로 제약된다. 공을 던지는 데이터를 아무리 많이 모아도 몸체 형상이 최적과 거리가 멀면 로봇은 공 대신 자기 자신을 던져버릴 수 있다는 것이다. Transformer Transformer는 바로 이 지점을 겨냥한 연구로, 목표 동작 시연을 입력하면 그 동작에 최적화된 완전한 로봇 한 대를 통째로 생성해내는 통합 모델을 제안한다.
연구진이 '완전한'이라고 말하는 범위는 넓다. 모든 링크와 관절, 모터, 관성 특성에 더해 그 몸체를 실제로 구동하는 제어기까지 포함한다. 이들은 이 문제를 '동작 조건부 로봇 공동설계(motion-conditioned robot co-design)'라 부르며, 세 단계로 재구성한다. 사용자가 원하는 말단 이펙터(end-effector) 동작을 시연하면, 모델이 최적화된 몸체를 생성하고, 같은 모델이 그 몸체를 직접 제어하며 설계를 검증한다. 하나의 신경망이 생성기, 평가자, 그리고 서로 다른 몸체를 아우르는 제어기라는 세 역할을 동시에 맡는 셈이다.
로봇을 토큰으로 쪼개다
이 통합이 가능한 핵심은 RoboTokens라는 표현 방식이다. 링크, 관절, 모터, 상태, 행동 각각에 유형이 지정된 토큰을 부여해, 시간에 따라 변하지 않는 몸체 정보와 시간에 따라 변하는 동역학 정보를 하나의 시퀀스로 기술한다. 연구진은 MuJoCo Menagerie의 로봇 11종을 토큰화했는데, 0.65kg짜리 정교한 손부터 67.5kg 사족보행 로봇까지 질량이 두 자릿수 배 차이가 나고 능동 관절 수도 6개에서 35개에 이른다. 각 로봇은 28~101개의 토큰으로 표현되어, 확산 모델이 한 번에 처리할 만큼 작게 압축된다.
모델 자체는 DDIM 노이즈 스케줄로 학습한 확산 트랜스포머(DiT)다. 흥미로운 점은 어떤 토큰에 노이즈를 씌우고 어떤 토큰을 조건으로 고정하느냐에 따라 같은 가중치가 전혀 다른 도구가 된다는 것이다. 전부 마스킹하면 무조건부 로봇 생성기가 되고, 행동만 마스킹하면 여러 몸체를 넘나드는 제어기가 되며, 몸체를 마스킹하면 동작 조건부 설계기가 된다. 제어기가 몸체 전체를 입력으로 보기 때문에, 링크 관성이나 관절 범위, 모터 게인이 바뀌어도 로봇별 재학습 없이 동일한 정책이 궤적을 추종한다.
학습하지 않은 보상을 추론 시점에 최적화
공동설계의 진짜 어려움은 학습 중 본 적 없는 보상 함수에 대해 고성능 몸체를 만들어내는 데 있다. 여기서 모델이 몸체와 그 동역학을 함께 예측한다는 점이 실마리가 된다. 예측값을 사용자의 보상 함수에 넣으면 예측 보상을 얻을 수 있고, 병렬로 여러 후보를 뽑아 가장 좋은 것을 고르는 best-of-N 샘플링을 GPU 속도로 돌릴 수 있다. 나아가 예측 보상이 몸체 토큰에 대해 미분 가능하므로, 그 기울기를 확산 과정에 되먹여 매 디노이징 단계마다 더 높은 보상 쪽으로 샘플을 밀어낸다. 연구진은 이를 Dynamics Self-Guidance라 부른다.
효과는 사례에서 드러난다. 추종 보상만 주면 모델은 무게중심을 낮추고 지지 다각형을 넓히는 안정적 설계를 스스로 발견하고, 여기에 토크 페널티를 더하면 더 작고 가벼우면서 평균 토크를 30% 덜 쓰는 로봇을 내놓는다. 크기 페널티를 추가하면 최적화 지형은 또 달라진다. 하나의 동작이 아니라 작업 전체를 대상으로 하려면 확산 합성(diffusion composition)을 쓴다. 공개된 UMI 양팔 설거지 데이터셋에서 26개 검증 궤적을 보류해두고, 이들 전부에 대해 동시에 최적화된 몸체를 만들어냈다. 비교 대상은 무작위 샘플링과 공동설계에서 널리 쓰이는 블랙박스 최적화기 CMA-ES였다.
실물 검증으로는 ALOHA2 양팔 플랫폼에서 천을 던져 펼치는 동적 작업을 골랐다. 이 작업은 고속으로 팔을 뻗는 운동학과 공기 저항·천 무게·마찰 같은 모델링되지 않은 동역학 양쪽에서 몸체의 실수를 가차 없이 처벌한다. 원래 ALOHA 설계는 궤적을 추종하는 것조차 버거워했다. 연구진이 'Tracking Velocity' 보상으로 설계를 최적화해 실제로 제작한 결과, 추종 오차가 73% 줄고 최대 관절 속도가 30% 낮아졌으며, 원본이 하지 못한 천 펼치기를 해냈다.
실무자가 유념할 한계
결과는 인상적이지만 적용 범위는 아직 좁다. RoboTokens는 현재 기본 도형 기반 지오메트리만 다루며, 임의의 메시나 변형체, 주변 장면과 접촉 대상은 인코딩하지 못한다. 서로 다른 몸체를 제어하는 정책은 RL 오라클과 피어슨 상관 0.53 수준으로, 유망하지만 일부 이상치 몸체에서는 일반화에 실패한다. 추론 연산을 늘릴수록 설계가 좋아지긴 하나 약 1분이면 성능이 정체되어, 추론 시간을 계속 늘려 이득을 얻는 대형 언어모델과는 성격이 다르다. 또한 이산적 설계 선택마다 별도의 RL 전문가를 학습시켜야 하고 정책 하나당 A100 16시간이 드는 데이터 생성 비용은, 새로운 설계 공간으로의 확장을 좌우하는 실질적 병목이다. 로봇의 지능만이 아니라 형태 자체를 자동으로 탐색한다는 방향은 분명한 가치를 지니지만, 지금 단계에서는 정형화된 도형과 제한된 로봇군 안에서의 개념 증명으로 읽는 편이 정확하다.