바둑에서 알파고와 알파제로가 보여준 가장 인상적인 장면은 인간 기보 없이 자가 경험만으로 전문가도 예상하지 못한 수를 찾아낸 것이었다. AlphaNIST는 이 철학을 접촉이 많고 정밀도가 높은 로봇 조립 작업에 그대로 가져온다. 사람이 '이렇게 집어서 이렇게 끼워라'라고 조작 단계를 미리 규정하지 않고, 성공 여부만을 신호로 주어 시뮬레이션 안에서 방대한 경험을 통해 정책(policy)을 학습시킨다. 결과물은 과제를 처음부터 끝까지 직접 수행하는 단일 엔드투엔드 정책이다.
왜 '단계 지정'이 어려운가
이 접근의 배경에는 조립 작업 자체의 난이도가 있다. 기준이 된 NIST 보드에는 스무 개의 조립 과제가 있고, 부품은 작게는 4mm에 불과하다. 부품 하나를 끼우는 데도 잡는 방식과 방향을 여러 번 바꿔야 할 수 있으며, 공차가 극히 좁아 너트가 조금만 기울어도 걸리거나 나사산이 어긋난다. 부품이 여러 개가 되면 순서 문제까지 생긴다. 먼저 설치한 부품이 다음 동작에서 그리퍼의 경로를 막아버릴 수 있기 때문이다.
사람이 모든 동작을 사전에 지시하려면 접촉 상태와 간섭이 시시각각 변하는 상황마다 로봇이 어떻게 반응해야 할지를 전부 예측해야 한다. 게다가 두 손가락 그리퍼는 사람 손과 구조가 다르기 때문에, 인간에게 자연스러운 해법이 로봇에게는 전혀 맞지 않을 수 있다. AlphaNIST의 문제의식은 여기서 출발한다. 사람이 상상한 방식을 가르치는 대신 로봇이 스스로 목표에 도달하는 길을 찾게 두면, 우리가 가르칠 생각조차 못 했던 해법이 나올 여지가 생긴다는 것이다.
캐시된 상태에서 거꾸로 배우기
학습 방식의 핵심은 시작 상태를 다루는 방법에 있다. 하나의 정책이 스무 개의 이질적인 조립 과제를 가로질러 학습하는데, 출발점은 흩어진 부품, 손 안에 잡힌 상태, 그리고 시뮬레이션에 캐시해 둔 부분 조립 상태 등으로 다양하다. 특히 거의 완성된 상태에서 시작하게 하면, 로봇은 과제 전체를 풀 수 있기 전에 '마무리하는 법'을 먼저 연습할 수 있다. 여기서 중요한 구분은 이 캐시가 시연 데이터가 아니라 어디까지나 시작 상태만 제공한다는 점이다. 모방할 정답 궤적을 주는 것이 아니라, 연습할 출발점을 다양하게 깔아주는 셈이다.
시작 상태를 고르는 방식도 정교하다. 베타 분포 기반 샘플링으로 정책이 대략 절반 정도 성공하는 상태를 선호하되, 모든 상태에 기회를 준다. 너무 쉬운 상태는 배울 것이 없고 너무 어려운 상태는 성공 신호가 나오지 않으니, 지금 막 풀릴락 말락 하는 지점에 학습 자원을 집중시키는 전략이다. 게다가 한 상태에서의 진전이 다른 상태를 풀 수 있게 만들면, 그 상태의 샘플링 비중도 새로운 성공·실패 결과에 따라 자동으로 조정된다.
보상을 더 주면 왜 나빠지는가
이 실험에서 가장 실무적으로 곱씹을 만한 결과는 보상 설계에 관한 것이다. 성공에만 이진 보상을 주었을 때, 스무 개 과제를 함께 학습한 단일 정책이 각 과제를 전담한 스무 개의 전문가 정책보다 더 높은 학습 성공률에 도달했다. 반면 '부품에 접근하기'나 '정렬하기' 같은 중간 단계에 보상을 추가로 주자 오히려 성공률이 떨어졌다. 중간 보상이 사람이 생각한 '좋은 과정'을 강제하면서, 로봇이 더 나은 해법을 탐색할 여지를 좁혔다고 해석할 수 있는 대목이다. 성능 측면에서는 단일 부품용 정책과 별도로 학습시킨 정책으로 열 개 부품 조립을 네 차례 성공시킨 결과가 제시됐다.
다만 한국의 제조·로보틱스 실무자가 이 결과를 받아들일 때는 전제를 분명히 해야 한다. 이 모든 성과는 시뮬레이션 안에서의 학습 성공률을 기준으로 한 것이며, 공개된 내용만으로는 실제 하드웨어로 옮겼을 때의 전이 성능이나 반복 재현성은 가늠하기 어렵다. 접촉 물리를 얼마나 충실히 모사했는지, 센서 노이즈와 부품 공차의 현실적 분포를 어떻게 다뤘는지가 실전에서의 성패를 가를 변수다. 그럼에도 '사람이 과정을 설계하기보다 성공만 정의하고 경험으로 채운다'는 설계 원칙과, 중간 보상이 역효과를 냈다는 관찰은 조립 자동화나 강화학습 기반 제어를 검토하는 팀이 자신의 보상 함수를 다시 들여다보게 만드는 유용한 참고점이 된다.