프로그램끼리 게임을 시키면? 울프럼이 말하는 '경쟁의 과학'

좀 엉뚱하지만 흥미로운 실험이에요

수학 소프트웨어 Mathematica로 유명한 스티븐 울프럼(Stephen Wolfram)이 재밌는 주제를 들고 나왔어요. 바로 '아주 단순한 프로그램들끼리 게임을 시키면 무슨 일이 벌어질까'예요. 그는 이런 탐구를 '룰리올로지(ruliology)'라고 불러요. 말이 어렵지만, 풀어보면 "단순한 규칙(rule)에서 출발한 시스템이 만들어내는 복잡한 행동을 관찰하고 분류하는 일" 정도예요. 화학자가 물질을 끓이고 섞으며 관찰하듯, 울프럼은 '계산 규칙'들을 이리저리 돌려보며 거기서 튀어나오는 패턴을 관찰하는 거죠.

핵심 아이디어: 작은 규칙, 큰 복잡성

울프럼의 오래된 핵심 주장이 하나 있어요. "규칙이 단순하다고 결과가 단순한 건 아니다"예요. 아주 짧고 간단한 규칙으로 움직이는 프로그램(예: 셀룰러 오토마타. 격자 칸들이 옆 칸 상태를 보고 켜지고 꺼지는 단순 시스템이에요)도, 돌려보면 도저히 예측 못 할 만큼 복잡하고 무질서한 모양을 만들어내거든요.

이번 글은 여기에 '경쟁'이라는 양념을 더해요. 프로그램 하나를 그냥 돌리는 게 아니라, 두 프로그램을 서로 맞붙여 게임을 시키는 거예요. 그러면 단순한 규칙 둘이 부딪힐 때 누가 이기는지, 어떤 전략적 패턴이 생기는지, 승부가 예측 가능한지 아니면 끝까지 돌려봐야만 알 수 있는지 같은 질문이 생겨요.

여기서 중요한 개념이 '계산 비환원성(computational irreducibility)'이에요. 이게 뭐냐면, 어떤 시스템은 결과를 미리 계산하는 지름길이 없어서, 그냥 끝까지 한 단계 한 단계 돌려보는 수밖에 없다는 뜻이에요. 게임으로 치면 "이 판은 결국 누가 이길까?"를 두는 것보다 빨리 알 방법이 없는 거죠. 끝까지 둬봐야 알아요.

왜 이게 의미가 있냐면

게임은 사실 '경쟁'의 가장 단순한 모형이에요. 자연 생태계의 포식자-피식자 관계, 시장의 경쟁, 진화 과정의 생존 경쟁까지 전부 '서로 다른 전략이 부딪히는 시스템'으로 볼 수 있거든요. 울프럼은 가장 단순한 프로그램 수준에서 경쟁을 들여다보면, 더 복잡한 현실의 경쟁에서도 통하는 보편 원리를 찾을 수 있지 않을까 기대하는 거예요.

특히 '단순한 두 전략이 만났을 때 의외로 복잡하고 예측 불가능한 양상이 나온다'는 점은, 왜 현실의 경쟁(게임 AI, 경제, 진화)이 그렇게 예측하기 어려운지를 밑바닥에서 설명해주는 단서가 될 수 있어요.

업계 맥락에서 보면

이런 발상은 학문적으로 낯설지 않아요. 게임이론은 경쟁과 협력을 수학으로 분석하는 오래된 분야이고, 컴퓨터끼리 전략을 겨루게 하는 실험은 그 유명한 '반복 죄수의 딜레마 토너먼트'(여러 전략 프로그램을 맞붙여 어떤 게 살아남는지 본 액설로드의 실험)에서 이미 큰 영향을 줬어요. 또 알파고처럼 AI가 스스로와 대국하며 강해지는 '셀프 플레이'도 결국 프로그램끼리의 경쟁이죠.

울프럼의 접근이 다른 점은, '잘하는 AI를 만들자'가 목표가 아니라 '경쟁이라는 현상 자체를 가장 단순한 형태로 해부해 분류하자'는 거예요. 응용보다 기초 과학에 가까운, 좀 더 철학적인 결이에요.

한국 개발자에게 주는 시사점

당장 실무 도구는 아니에요. 하지만 사고방식 측면에서 배울 게 있어요. 우리는 보통 '복잡한 결과를 내려면 복잡한 코드가 필요하다'고 생각하는데, 이 연구는 정반대를 보여줘요. 단순한 규칙의 상호작용만으로도 풍부하고 예측 불가능한 행동이 나온다는 거죠.

이건 게임 개발에서 적 AI를 설계할 때, 시뮬레이션이나 절차적 콘텐츠 생성(procedural generation)을 만들 때, 혹은 멀티 에이전트 시스템(여러 AI가 상호작용하는 구조)을 다룰 때 실제로 영감을 줘요. 복잡한 결과를 위해 무겁게 짜기보다, 단순한 규칙 몇 개를 충돌시켜 창발(emergence)을 끌어내는 설계를 떠올릴 수 있거든요.