양자컴퓨팅과 양자정보가 산업 의제로 올라오면서, 실무자들도 더는 '양자역학은 물리학자의 영역'이라고 미뤄두기 어려워졌다. 그런데 이 이론의 토대를 들여다보면 우리가 흔히 상상하는 '작은 입자가 공간을 날아다니는 그림'과는 전혀 다른 세계가 나타난다. 양자역학의 첫 번째 계명은, 다소 거칠게 말하면 '지금 공간을 움직이고 있는 평범한 물체를 떠올리지 말라'는 것이다. 대신 이론은 관측 이전의 대상이 앞으로 어떤 상태로 '드러날 수 있는지' 그 모든 가능성을 정밀하게 예측한다. 그리고 그 가능성을 추적하기 위해 물리학자들은 현실 공간이 아니라 추상적인 무대, 곧 힐베르트 공간으로 자리를 옮긴다.
두 갈래 이론을 하나로 묶은 폰 노이만
이 추상화가 자리 잡은 과정에는 역사적 맥락이 있다. 1925년 베르너 하이젠베르크는 전자가 더 높거나 낮은 궤도로 도약할 확률을 표와 숫자의 배열로 계산하는 '행렬역학'을 내놓았다. 이듬해 에르빈 슈뢰딩거는 입자가 특정 위치에서 발견될 확률을 파동으로 추적하는 '파동역학'을 발표했다. 두 그림은 완전히 달라 보였지만 예측 결과는 똑같았다. 하나의 이론이 전혀 다른 두 모습으로 나타난 셈인데, 정작 그 '하나의 이론'이 무엇인지는 불분명했다. 엄밀한 공리 위에 물리학을 다시 세우려 했던 수학자 다비트 힐베르트가 이 문제를 당시 20대 초반의 폰 노이만에게 던졌고, 폴 디랙의 통찰을 딛고 1927년 폰 노이만은 세 편의 단독 논문으로 답을 내놓았다. 수학사가 레오 코리의 말처럼, 구체적 아이디어는 폰 노이만의 것이었지만 '왜, 무엇을 위해 공리화하는가'라는 영감은 힐베르트에게서 온 것이었다.
폰 노이만이 보인 것은 하이젠베르크의 숫자 탑과 슈뢰딩거의 파동이 같은 대상의 서로 다른 표현이라는 점이었다. 0.5와 ½이 수직선 위 같은 점을 가리키듯, 둘은 양자역학의 주인공인 '양자 상태'를 가리키고 있었다.
상태를 가리키는 화살표, 그리고 두 가지 움직임
모든 것에는 상태가 있다. 동전은 앞면이나 뒷면이고, 괘종시계의 추는 여러 위치를 가질 수 있다. 물리학의 상당 부분은 대상의 상태를 포착하고 그것이 어떻게 변하는지 예측하는 일이다. 양자역학이 까다로운 지점은 여기다. 관측 전의 양자 대상은 특정 위치 같은 고정된 성질을 갖지 않고, 가능한 성질들이 겹쳐 있는 '중첩' 상태에 놓인다. 이를테면 입자가 왼쪽에서 발견될 확률 99%, 오른쪽 1%처럼 가능성은 정밀하게 주어지지만, 실제로 확인하기 전에는 결과를 단정할 수 없다. 폰 노이만은 이 상태를 하나의 화살표, 곧 벡터로 표현했다. 세 가지 색을 가진 양자 신호등을 떠올리면, 빨강·노랑·초록 세 축으로 이뤄진 3차원 힐베르트 공간 속에서 화살표는 관측 전까지 가운데 영역을 향하고, 특정 축에 가까울수록 그 색으로 관측될 확률이 높다.
화살표는 두 방식으로 움직인다. 관측 전에는 세계의 영향을 받으며 부드럽고 예측 가능하게 방향을 튼다. 그러나 실제로 관측하는 순간, 벡터는 순식간에 무작위로 한 축에 '달라붙는다'. 어느 축에 더 가까웠는지가 확률을 정하지만 최종 결과는 끝내 예측할 수 없다. 일단 초록으로 결정되면 이후 측정에서도 100% 초록이고, 중첩은 사라진다. 가능한 미래가 많을수록 공간은 커진다. 두 가지 미래를 갖는 입자는 양자컴퓨터의 기본 단위인 큐비트로 2차원 공간을, 자유롭게 떠도는 입자는 우주 어디서든 발견될 수 있어 무한 차원을 가진다. 폰 노이만의 규칙에서 공간의 유일한 본질적 특징은 바로 이 '차원의 크기'뿐이며, 축은 우리가 편의상 그어 넣는 것이지 공간에 내재한 것이 아니다.
축을 마음대로 설정할 수 있다는 이 자유가 바로 하이젠베르크와 슈뢰딩거가 같은 이론을 다른 모습으로 쓸 수 있었던 이유다. 하이젠베르크의 그림은 벡터를 고정하고 축을 돌렸고, 슈뢰딩거의 그림은 축을 고정하고 벡터를 돌렸을 뿐, 둘은 같은 공간 속 같은 화살표를 바라본 서로 다른 시점이었다. 폰 노이만은 이런 공간을 정의하는 두 조건을 제시했다. 하나는 '완비성', 즉 빠진 점이나 영역이 없어야 한다는 것이고, 다른 하나는 상태와 축의 정렬 정도를 계산하는 '내적'이 가능해야 한다는 것이다. 이 두 성질을 갖춘 공간이면 크기나 기원과 무관하게 모두 힐베르트 공간이다. 정작 이름의 주인공 힐베르트는 1929년 한 강연에서 '폰 노이만 박사, 대체 그 힐베르트 공간이라는 게 무엇인지 정말 궁금하군요'라고 물었다고 전해진다.
실무적 함의와 남는 물음
이 추상화가 주는 교훈은 분명하다. 양자 시스템을 다루는 엔지니어에게 힐베르트 공간은 신비한 철학이 아니라, 상태를 벡터로, 측정을 축으로 다루는 공통의 수학적 언어다. 큐비트든 복잡한 다체계든 같은 틀로 기술되기에, 서로 달라 보이는 양자 기술을 하나의 뼈대 위에서 이해할 수 있다. 다만 이것이 세계의 궁극적 실재인지에 대해서는 물리학자들 사이에도 입장이 갈린다. 숀 캐럴은 2022년 논문에서 양자역학이 근본 이론이라면 힐베르트 공간이야말로 실재의 무대라고 주장하며, 익숙한 세계를 그로부터 끌어내는 연구를 진행 중이다. 반면 프린스턴의 조너선 소스는 힐베르트 공간을 '많은 양자계를 기술하는 데 유용하지만 모든 경우에 맞지는 않는 도구'로 본다.
실제로 폰 노이만 자신도 1935년 편지에서 '고백하건대 나는 더 이상 힐베르트 공간을 믿지 않는다'고 적으며, 힐베르트 공간을 자르고 돌리는 연산들로 이뤄진 한층 더 추상적인 구조, 오늘날 '폰 노이만 대수'로 불리는 것을 탐색했다. 블랙홀 내부처럼 시공간 자체를 양자 대상으로 다뤄야 하는 문제에서는 이 대수가 더 적합해 보인다는 연구도 나온다. 소스는 하나의 공간으로 모든 것을 설명하려 하지 않고 대상에 맞는 도구를 골라 쓴다고 말한다. 그의 표현처럼 이런 수학적 구조에는 '온갖 동물원'이 있다. 실무자에게 남는 메시지는 명확하다. 힐베르트 공간은 양자 세계를 다루는 강력한 기본 도구이되, 그 자체가 자연의 전부라고 단정하기에는 아직 열려 있는 물음이 많다는 점이다.