신경망이 스네이크 게임을 처음 배워가는 모습을 라이브로 본다

강화학습(Reinforcement Learning)이라는 단어, 한 번쯤 들어보셨을 거예요. AlphaGo가 이세돌 9단을 이긴 그 기술의 핵심이거든요. "AI가 시행착오를 통해 스스로 배운다"는 컨셉인데, 글로만 읽으면 좀 추상적이죠. 그래서 백문이 불여일견이라고, 강화학습이 실제로 "학습하는 과정"을 눈으로 보여주는 작은 웹사이트가 등장했어요. 신경망이 스네이크 게임을 처음부터 배워가는 모습을 브라우저에서 실시간으로 보여주는 사이트입니다(ppo.gradexp.xyz).

PPO가 뭔지부터 짧게

사이트 이름의 PPO는 Proximal Policy Optimization의 약자예요. OpenAI가 2017년에 발표한 강화학습 알고리즘인데, 지금까지도 산업에서 가장 널리 쓰이는 방법 중 하나입니다. ChatGPT의 RLHF(인간 피드백을 통한 강화학습) 단계에서도 PPO 계열이 핵심이고, 로봇 제어나 게임 AI에도 단골손님이에요.

이게 뭐 하는 알고리즘이냐면, 쉽게 설명해서 "AI가 현재 정책(policy)에서 너무 멀어지지 않으면서 조금씩 더 좋게 바꿔나가게" 만드는 방법이에요. 정책이라는 건 "이 상황에서 어떤 행동을 할 확률" 같은 거고요. 학습 도중에 갑자기 엄청 다른 행동을 시도하면 망가질 위험이 큰데, PPO는 한 번에 너무 멀리 가지 않게 "안전 거리"를 둬요. 그래서 학습이 안정적이고, 코드 짜기도 비교적 쉬운 편이라 인기가 많습니다.

사이트가 보여주는 것

사이트에 들어가면 작은 스네이크 게임 격자판이 보이고, AI가 게임을 플레이합니다. 처음에는 진짜 형편없어요. 자기 몸을 들이받고 죽고, 벽에 박고 죽고, 사과를 코앞에 두고 반대로 갑니다. 그런데 시간이 지나면(에피소드를 거듭하면), 점점 똑똑해져요. 사과 쪽으로 방향을 트는 빈도가 늘고, 자기 몸을 피하는 법을 깨우치고, 나중엔 꽤 긴 뱀이 될 때까지 살아남아요.

중요한 건 이걸 사람이 코딩한 게 아니라는 점이에요. 알고리즘은 "사과를 먹으면 +1, 죽으면 -1" 같은 단순한 보상 신호만 받고, 어떻게 행동해야 보상을 많이 받을지는 스스로 알아냅니다. 그 "알아내는 과정"을 시각화해서 볼 수 있는 게 이 사이트의 진짜 가치예요.

기술적으로 보면, 이런 데모는 보통 TensorFlow.js나 ONNX Runtime Web 같은 브라우저용 머신러닝 라이브러리로 만들어요. 신경망의 가중치 업데이트가 사용자 기기의 CPU/GPU에서 직접 일어나니까 서버 비용도 없고, 데이터도 어디로 안 갑니다. 신경망 자체는 보통 작아요—입력은 격자판 상태, 출력은 4방향 행동 확률, 그 사이에 작은 은닉층 몇 개. 모델 크기가 메가바이트 단위면 충분합니다.

강화학습의 큰 그림

강화학습은 머신러닝의 세 갈래(지도 학습, 비지도 학습, 강화학습) 중 하나인데, 가장 사람의 학습 방식에 가깝다고들 합니다. 아기가 걷는 법을 배우는 걸 떠올려보세요. 누가 "이렇게 하면 걷는다"고 정답을 알려주지 않잖아요. 그냥 시도하다가 넘어지고, 일어나고, 조금씩 안 넘어지는 방식을 익혀가죠. 그게 강화학습의 본질이에요.

이 분야의 굵직한 사건들을 시간순으로 짚어보면, DeepMind가 2013년에 픽셀만 보고 아타리 게임을 하는 DQN을 발표했고, 2016년에 알파고가 이세돌을 이겼고, 2017년에 OpenAI가 PPO를 발표했고, 2019년에 AlphaStar가 스타크래프트2를 정복했어요. 그리고 2022~2023년에는 ChatGPT를 비롯한 LLM들이 RLHF로 다듬어지면서 강화학습의 응용 영역이 폭발적으로 넓어졌습니다.

한국 개발자에게 어떤 의미일까

첫째, 강화학습 입문에 정말 좋은 시각 자료예요. 책으로만 PPO를 공부하면 "policy gradient", "clipped objective", "advantage function" 같은 단어 폭격에 멘붕이 옵니다. 그런데 이런 데모를 옆에 띄워놓고 보면, "아, 이 수식이 결국 저 뱀이 안 죽게 만드는 거구나" 하는 직관이 생겨요.

둘째, 사이드 프로젝트 아이디어로도 좋습니다. 브라우저에서 RL을 학습시키는 데모는 만들기가 의외로 어렵지 않아요. 환경(스네이크, 카트폴, 미로 같은 간단한 게임)을 JS로 짜고, 신경망을 TensorFlow.js로 구성하고, PPO나 DQN 같은 알고리즘을 붙이면 됩니다. 학습 자료로는 OpenAI Spinning Up, 그리고 Hugging Face의 Deep RL Course가 무료고 한국어로 정리해주는 분들도 계세요.

셋째, 실무에서 RL을 쓰는 영역이 늘고 있어요. 쿠팡, 배민 같은 곳의 추천·라우팅, 카카오모빌리티의 배차 알고리즘, 게임 회사들의 NPC AI 등. "강화학습 엔지니어" 채용 공고가 늘어나는 건 트렌드이지 우연이 아닙니다.

정리

알고리즘을 이해하는 가장 빠른 방법은 그게 "못하던 걸 어떻게 잘하게 되는지"를 직접 지켜보는 거예요. 이 작은 사이트는 강화학습이라는 거대한 분야의 입구를 가장 친절하게 열어주는 한 장면이라고 할 수 있습니다.

여러분은 RL을 공부할 때 어떤 자료가 가장 도움이 됐나요? 실무에서 강화학습을 써본 분들의 경험담도 궁금합니다.