두 점만 지나는 직선은 반드시 있다: 실베스터–갈라이 정리와 극단 논법

평면 위에 점 여러 개를 흩어 놓았다고 해 보자. 단, 모든 점이 하나의 직선 위에 나란히 놓여 있지는 않다. 이때 그 점들 중 정확히 두 개만을 지나는 직선이 반드시 존재한다. 이것이 실베스터–갈라이 정리다. 언뜻 당연해 보이지만, 막상 증명하려고 하면 만만치 않다. 점들을 아무리 촘촘하고 교묘하게 배치해도 '모든 직선이 세 개 이상의 점을 지나게' 만드는 것은 불가능하다는 뜻이기 때문이다. 유한 개의 점이라는 조건과 한 직선 위에 다 모여 있지 않다는 조건만 주어지면, 예외 없이 성립한다.

이 명제가 흥미로운 이유는 반례를 상상하기가 쉽지 않다는 데 있다. 정삼각형처럼 단순한 배치에서는 세 변이 각각 두 점만 지나니 조건이 금방 만족된다. 그러나 점의 수를 늘리고 대칭성을 부여하다 보면 '혹시 모든 연결선이 세 점 이상을 지나도록 만들 수 있지 않을까' 하는 의심이 든다. 실제로 이 정리는 오랫동안 여러 수학자의 관심을 끌었고, 겉보기의 단순함과 달리 여러 증명 시도가 있었다. 그중에서도 미시간 주립대학의 수학자 리로이 밀턴 켈리가 제시한 증명이 가장 간결한 것으로 널리 인용된다.

켈리의 증명: 가장 가까운 점과 직선을 골라라

켈리의 아이디어는 '거리를 최소로 만드는 짝'에서 출발한다. 점들의 집합 S에서 적어도 두 점을 지나는 직선을 '연결선'이라 부르자. 점과 연결선의 모든 짝을 놓고 그 사이 거리를 비교하면, 서로 가장 가까운 짝이 하나 존재한다. 그 점을 P, 그 직선을 ℓ이라 하자. 켈리는 바로 이 ℓ이 S의 점을 정확히 두 개만 지난다는 것을 보인다.

증명은 귀류법으로 진행된다. 만약 ℓ이 세 개 이상의 점을 지난다고 가정해 보자. P에서 ℓ에 수선을 내린 발을 P′라 하면, ℓ 위의 세 점 가운데 적어도 두 개는 P′를 기준으로 같은 쪽에 놓인다. 그 두 점을 P′에 가까운 순서로 B, C라 하자. 이제 P와 C를 지나는 새 연결선 𝓂를 그리고, B에서 𝓂에 수선을 내려 발을 B′라 한다. 삼각형 PP′C와 BB′C가 닮음이므로, B에서 𝓂까지의 거리 BB′는 P에서 ℓ까지의 거리 PP′보다 짧아진다. 그런데 우리는 P와 ℓ을 '가장 가까운 짝'으로 골랐다. 그보다 더 가까운 짝이 나왔다는 것은 모순이다. 따라서 ℓ이 세 점 이상을 지난다는 가정은 성립할 수 없고, ℓ은 정확히 두 점만 지난다.

극단 원리라는 사고의 틀

이 증명이 인상적인 이유는 복잡한 계산이나 좌표 대입 없이 '가장 극단적인 대상을 골라 모순을 유도하는' 방식으로만 결론에 도달하기 때문이다. 어떤 성질을 만족하는 후보들 중 최솟값(또는 최댓값)을 실현하는 것을 하나 집고, 그것을 조금 더 개선할 수 있음을 보여 최소성 자체와 충돌시키는 전략이다. 이런 극단 논법은 수학에서 반복적으로 등장하는 강력한 도구이며, 존재성을 증명할 때 특히 요긴하다. 무한히 많은 경우를 일일이 따지는 대신, 유한성이라는 조건 덕분에 '최소를 실현하는 짝이 반드시 있다'는 사실 하나에 논증 전체를 걸 수 있다.

실무자의 관점에서 이 정리와 증명은 두 갈래로 읽을 만하다. 하나는 계산기하학과의 접점이다. 점 집합에서 특정 성질을 가진 직선이나 구성을 찾는 문제, 이른바 '보통선(ordinary line)' 관련 논의는 알고리즘 설계와 도형 처리에서 실제로 다뤄지는 주제다. 다른 하나는 증명 기법 자체의 전이 가능성이다. '가장 작은 반례를 가정하고 그것을 더 줄여 모순을 만든다'는 최소 반례 논법은 알고리즘의 정당성 증명, 종료성 증명, 그래프·조합 구조를 다루는 코드의 불변식 검증에서 그대로 활용된다. 유한하고 잘 정의된 척도(거리, 크기, 단계 수)가 있으면 무한 하강이 불가능하다는 논리는 소프트웨어 검증의 핵심 감각과 맞닿아 있다.

다만 정리의 성립 조건은 분명히 새겨 둘 필요가 있다. 이 결과는 유클리드 평면, 즉 우리가 익숙한 실수 좌표 평면 위의 유한 점 집합에 대한 진술이다. 점이 무한히 많거나, 무대가 복소 평면처럼 다른 구조로 바뀌면 같은 결론이 보장되지 않는다. 실제로 복소 사영 공간에서는 모든 연결선이 세 점 이상을 지나도록 배치하는 구성이 알려져 있어, '두 점만 지나는 직선'이라는 성질은 유클리드 기하의 거리 개념에 크게 기대고 있음을 알 수 있다. 켈리의 증명이 거리 최소화에 의존한다는 점 자체가 그 한계를 정직하게 드러낸다. 단순해 보이는 명제일수록 어떤 전제 위에 서 있는지를 함께 기억하는 것이, 결과를 다른 맥락에 잘못 옮기지 않는 길이다.