ML의 미래는 '기묘함' 그 자체 — AI가 만드는 세상은 왜 이상해질 수밖에 없는가

무슨 이야기인가요?

분산 시스템 전문가로 유명한 Kyle Kingsbury(Aphyr)가 머신러닝과 AI의 미래에 대해 꽤 도발적인 글을 썼어요. 그의 핵심 주장은 이래요 — ML 시스템이 우리 생활 곳곳에 스며들수록, 세상은 점점 더 기묘하고 예측 불가능한 방향으로 흘러갈 거라는 거예요. 단순히 "AI가 발전한다"는 낙관론도, "AI가 위험하다"는 비관론도 아닌, 좀 더 근본적인 차원의 이야기를 하고 있어요.

Aphyr는 Jepsen이라는 분산 데이터베이스 테스트 도구로 유명한 사람인데요, 시스템이 "정확하게 동작하는가"를 집요하게 검증하는 걸로 업계에서 정평이 나 있어요. 그런 사람이 ML에 대해 이야기한다는 것 자체가 흥미로운 지점이에요. 정확성과 검증 가능성을 중시하는 시스템 엔지니어의 눈으로 본 ML의 세계는 어떤 모습일까요?

핵심 내용: 왜 ML은 "기묘할" 수밖에 없는가

전통적인 소프트웨어는 결정론적(deterministic)이에요. 이게 뭐냐면, 같은 입력을 넣으면 항상 같은 출력이 나온다는 뜻이에요. 1 + 1을 계산하면 언제나 2가 나오죠. 버그가 있어도 원인을 추적할 수 있고, 테스트를 작성해서 "이 입력에 대해 이 출력이 나와야 한다"고 명시할 수 있어요.

그런데 ML 시스템은 근본적으로 다르거든요. 모델이 왜 특정 답을 내놓았는지 완전히 설명하기 어렵고, 입력을 아주 살짝만 바꿔도 완전히 다른 결과가 나올 수 있어요. 이걸 기술적으로는 블랙박스(black box) 문제라고 부르는데, 비유하자면 아주 똑똑한 직원을 고용했는데 이 사람이 왜 그런 결정을 내렸는지 물어보면 제대로 설명을 못 하는 것과 비슷해요. 대부분의 경우 결과가 좋으니까 넘어가지만, 가끔 황당한 결정을 내려도 왜 그랬는지 디버깅이 안 되는 거죠.

Aphyr가 짚는 더 깊은 문제는, 이런 ML 시스템들이 서로를 참조하기 시작하면 벌어지는 일이에요. AI가 생성한 콘텐츠를 다른 AI가 학습 데이터로 쓰고, 그 AI의 출력을 또 다른 AI가 참조하는 — 이런 피드백 루프가 형성되면 원래 "진짜"가 뭐였는지 점점 흐려지게 되거든요. 마치 복사기로 복사한 걸 다시 복사하면 화질이 계속 떨어지는 것처럼, 정보의 질이 점진적으로 퇴화할 수 있다는 이야기예요. 이걸 일부에서는 모델 붕괴(model collapse)라고 부르기도 해요.

실제로 벌어지고 있는 기묘한 일들

이 "기묘함"은 이미 현실에서 관찰되고 있어요. 몇 가지 예를 들어볼게요.

검색 엔진이 AI 생성 콘텐츠로 넘쳐나면서, 정확한 정보를 찾는 게 오히려 더 어려워지는 현상이 있어요. 구글에서 제품 리뷰를 검색하면 AI가 쓴 것 같은 글이 대량으로 나오는데, 진짜 사용 경험을 담은 리뷰를 찾기가 점점 힘들어지고 있죠. AI 추천 시스템이 사용자의 행동을 예측하려고 하는데, 사용자도 AI 추천에 맞춰서 행동을 바꾸면서 서로가 서로를 변형시키는 현상도 있어요. 주식 시장에서 알고리즘 트레이딩 봇들이 서로의 행동에 반응하면서 인간이 이해할 수 없는 시장 변동을 만들어내는 것도 비슷한 맥락이에요.

업계 맥락: 이런 논의가 나오는 배경

이런 논의는 AI 업계의 현재 분위기와 맞물려 있어요. 한쪽에서는 GPT, Claude, Gemini 같은 대형 언어 모델이 엄청난 속도로 발전하면서 "AGI가 곧 온다"는 낙관론이 퍼지고 있고, 다른 한쪽에서는 환각(hallucination) 문제, 저작권 이슈, 에너지 소비 문제 같은 현실적인 한계가 계속 드러나고 있거든요.

Aphyr의 관점은 이 두 진영 어디에도 속하지 않는 독특한 위치예요. "AI가 잘 되든 못 되든, 이 기술이 사회 전반에 스며드는 과정 자체가 예측 불가능한 이상한 일들을 만들어낼 것"이라는 거죠. 이건 기술의 성능 문제가 아니라 복잡계(complex system)의 특성에 가까운 이야기예요. 날씨를 100% 예측할 수 없는 것처럼, ML 시스템이 사회와 상호작용하는 방식도 완전히 예측하는 건 불가능하다는 관점이에요.

ML 안전성(AI Safety) 분야에서도 비슷한 고민이 이어지고 있어요. OpenAI의 Superalignment 팀이 해체되었던 사건, Anthropic의 Constitutional AI 연구, DeepMind의 안전성 연구 등이 모두 "강력한 ML 시스템을 어떻게 통제 가능하게 만들 것인가"라는 같은 질문에 대한 다른 접근이거든요.

한국 개발자에게 주는 시사점

실무에서 LLM API를 사용하거나 ML 파이프라인을 구축하고 있는 분들이라면, 이 "기묘함"에 대한 감각이 중요해요. 구체적으로 몇 가지 생각해볼 점이 있어요.

첫째, ML 시스템의 출력을 맹신하지 않는 아키텍처를 설계해야 해요. AI의 응답을 그대로 사용자에게 보여주는 대신, 검증 레이어를 두거나, 결과에 대한 신뢰도(confidence)를 함께 제공하는 방식이 필요해요. 둘째, 관측 가능성(observability)이 전통적 소프트웨어보다 훨씬 더 중요해요. ML 시스템은 "조용히 틀리는" 경우가 많기 때문에, 출력의 품질을 지속적으로 모니터링하는 체계가 필수예요. 셋째, AI 생성 콘텐츠가 다시 학습 데이터로 들어가는 파이프라인을 만들 때는 데이터 출처 추적(data provenance)에 각별히 신경 써야 해요.