아난요 바타차리야의 전기 『미래에서 온 사람: 존 폰 노이만의 비전가적 삶』은 20세기 과학의 거의 모든 분기점에 한 인물이 서 있었다는 사실을 새삼 상기시킨다. 집합론과 수학 기초, 양자역학의 수학적 정식화, 작용소 대수(지금도 '폰 노이만 대수'로 불린다), 에르고딕 이론, 게임 이론, 기대효용 이론, 몬테카를로 방법, 그리고 오늘날 모든 기계가 올라타 있는 저장 프로그램 방식 컴퓨터 구조까지. 53년(1903~1957)의 생애 동안 그는 수치 기상예측과 결함 허용 컴퓨팅, 자기복제 오토마타의 토대까지 깔았다. 물론 나가사키 폭탄의 내파 렌즈와 냉전기 강경 핵전략이라는 그늘도 함께였다.
에드워드 텔러는 추도사에서 '조니는 생각하는 것을 즐겼고, 아마 그것 말고는 거의 아무것도 즐기지 않았다'고 했다. 그러나 이 글에서 주목할 부분은 신화화된 천재성 자체가 아니라, 그 사고가 작동한 '방식'이다. 바타차리야의 서술을 따라가다 보면 폰 노이만의 진짜 무기는 넓은 의미의 사고력이 아니라 매우 특화된 한 가지 동작, 곧 '추상화의 기술'이었음이 드러난다.
같은 동작의 반복
열일곱 살에 그는 순서수를 새롭게 정의했다. 어떤 수는 '그 앞에 오는 모든 수들의 집합'이라는 것이다. 0은 공집합, 1은 0을 담은 집합, 2는 0과 1을 담은 집합. 공집합과 중괄호 한 쌍만으로 무한 순서수까지 쌓아 올린다. 오늘날의 눈으로 보면 이것은 생성자 하나를 가진 귀납적 데이터 타입에 가깝다. 몇 년 뒤 박사 논문에서 그는 러셀의 역설로 흔들리던 집합론에 사실상 '타입 시스템'을 도입했다. 다른 집합의 원소가 될 수 있는 보통 집합과, 말할 수는 있어도 원소로는 쓸 수 없는 과대한 집합을 구분하자, 역설은 타입 오류가 되었다.
핵심은 두 경우 모두 동일한 수법이라는 점이다. 모두가 안다고 여기는 대상을 가져와, 같은 방식으로 동작하는 '가장 작은 것'으로 바꿔치기한다. 그는 이후 30년간 분야마다 똑같이 했다. 도착해서, 혼란의 실체인 최소한의 대상과 공리를 찾아내 적어 두고, 그래서 모두가 비로소 올바른 문제를 놓고 다툴 수 있게 한 다음, 정리가 쏟아지기 전에 떠났다.
추상화가 푼 문제들
이 렌즈로 업적 목록을 다시 보면 패턴이 선명해진다. 하이젠베르크의 행렬역학과 슈뢰딩거의 파동역학은 경쟁 이론처럼 보였지만, 그는 둘이 같은 힐베르트 공간 위의 서로 다른 좌표계임을 증명했다. 1932년 저작 『양자역학의 수학적 기초』는 지금도 가장 빈틈없는 정식화로 평가된다. 측정 문제에서도 그는 파동함수의 붕괴 지점이 어디냐를 두고 입장을 정하는 대신, 수학적으로는 선을 어디에 긋든 답이 같음을 증명했다. 그 선이 지금의 '폰 노이만 절단'이다.
경제학에서는 다른 사람들 사이의 선호 비교가 불가능하다고 여겨지던 문제를, 선택자가 만족해야 할 최소한의 일관성 공리가 무엇이냐는 질문으로 바꿔 오후 한나절 만에 기수적 효용 척도를 끌어냈다. 자기복제도 무한한 설계도의 재귀가 필요해 보였지만, '테이프를 명령으로 읽기'와 '테이프를 데이터로 복사하기'를 분리하자 풀렸다. 다만 그의 게임 이론은 영합 게임과 연합에 묶여 있었고, 세상 대부분은 영합이 아니다. 비협력 균형을 들고 온 내시를 그는 고정점 논증의 사소한 단계로 치부하며 그 중요성을 오판했다. 유용한 모든 모델에는 경계가 있다는 교훈이 여기 있다.
공유지에 올려둔 설계
실무자 관점에서 가장 울림이 큰 대목은 EDVAC 보고서다. 1945년 그는 명령과 데이터를 한 메모리에 담고 제어 장치, 산술 장치, 입출력을 두는 저장 프로그램 구조를 정리했고, 80년이 지난 지금도 거의 모든 컴퓨터가 이 구조 위에 있다. 더 눈여겨볼 점은 그가 기술 세부를 공개 영역에 두기를 고집했고, 그 초안을 돌린 행위 자체가 구조를 특허 불가능하게 만들었다는 사실이다. IAS 기계 설계도 마찬가지로 전 세계에 복제되어 MANIAC·JOHNNIAC·ILLIAC·SILLIAC·WEIZAC 같은 기계들을 낳았다. 냉철한 강경파로 그려지는 인물이 산업의 토대 설계를 의도적으로 공유지에 올려놓은 셈이다.
이 전기가 오늘의 엔지니어에게 남기는 것은 한 사람의 전설이 아니라 재사용 가능한 습관이다. 복잡한 시스템 앞에서 기능을 더 쌓기보다, 그것이 실제로 무엇에 관한 문제인지 가장 작은 불변 핵으로 되묻는 것. 역설을 타입 오류로, 경쟁 이론을 좌표 변환으로, 무한 재귀를 코드와 데이터의 분리로 바꾸는 그 동작은 아키텍처 설계와 추상화 계층 설계에서 지금도 유효하다. 동시에 폰 노이만이 내시 앞에서 보인 오판은, 잘 벼려진 추상이라도 전제 바깥의 세계는 담지 못한다는 점을 함께 경고한다.