"AI 곧 한계 온다"는 위안, 사실은 가장 위험한 가정

S자 곡선이라는 안심거리

AI가 계속 똑똑해지는 모습을 보면서 마음 한구석이 불안해질 때, 많은 사람들이 스스로를 달래는 방식이 하나 있어요. "기술은 결국 S자 곡선(sigmoid curve)을 그린다. 처음엔 폭발적으로 성장하다가, 어느 순간 평탄해진다. AI도 마찬가지일 거다." 이 논리는 굉장히 직관적이고, 반도체부터 자동차 연비까지 수많은 사례에서 실제로 관찰돼 온 패턴이거든요. 그래서 "걱정 마세요, 곧 한계가 옵니다"라는 말이 위안처럼 돌아다녀요.

Scott Alexander가 운영하는 Astral Codex Ten에 올라온 "The sigmoids won't save you"는 바로 이 위안에 정면으로 도전하는 글이에요. 요지는 간단합니다. S자 곡선이 온다고 해도, 그게 우리를 구해주지는 않는다는 거예요.

S자 곡선의 진짜 모양

이게 뭐냐면, S자 곡선이라는 게 "성장이 멈춘다"는 의미인 건 맞는데, 언제, 어디서 평탄해질지는 곡선 자체가 알려주지 않거든요. 사람들이 "곧 평탄해질 것"이라고 말할 때, 그 "곧"이 GPT-4 수준에서일 수도 있고, 인간보다 100배 똑똑한 지점에서일 수도 있다는 거예요.

저자가 드는 비유가 인상적입니다. 자동차의 최고 속도도 S자 곡선을 그렸어요. 19세기 마차에서 시작해서 폭발적으로 빨라지다가, 지금은 양산차 기준 시속 300km 근처에서 사실상 평탄해졌죠. 그런데 만약 자동차의 "평탄해진 속도"가 시속 30km였다면 세상이 어떻게 바뀌었을까요? 또 시속 30,000km였다면요? 같은 "S자 곡선"이라도 평탄해지는 높이가 어디냐에 따라 결과는 천지차이라는 겁니다.

그러니까 "AI 발전이 시그모이드를 따른다"는 명제는 사실 거의 아무것도 말해주는 게 없어요. 단지 "무한히 빨라지진 않을 것"이라는 약한 주장일 뿐이고, 인간 수준 아래에서 멈출지, 한참 위에서 멈출지에 대해선 무언의 침묵이에요.

그런데도 왜 이 논리가 먹힐까

인지심리학적으로 보면, 사람의 뇌는 "성장이 영원히 계속될 리 없다"는 직관에 약합니다. 우리가 보아 온 거의 모든 시스템이 어느 지점에선 한계에 부딪혔거든요. 그래서 "AI도 마찬가지"라는 말은 본능적으로 그럴듯하게 들려요. 문제는 이 본능이 "한계가 어디인지"는 알려주지 못한다는 사실을 우리가 자꾸 잊는다는 거죠.

저자는 또 다른 함정도 짚어요. 어떤 사람들은 "학습 데이터가 곧 바닥난다", "트랜스포머 아키텍처의 한계가 있다" 같은 구체적인 이유를 들면서 시그모이드를 주장하는데, 이건 사실 시그모이드 자체의 논리가 아니라 별도의 기술적 주장이거든요. 그리고 그 별도의 주장들도 매년 깨지고 있어요. 합성 데이터, 추론 시간 스케일링, 멀티모달 확장 같은 식으로 "막힐 것 같던 벽"이 계속 뚫리고 있죠.

AI 안전 논쟁에서의 의미

이 글이 던지는 메시지는 분명합니다. "기술은 결국 평탄해진다"라는 일반론을 근거로 AI 안전에 손 놓고 있어선 안 된다는 거예요. 정말로 시그모이드를 믿는다면, 그 다음 질문은 "어디서 평탄해질까"여야 하고, 그 답에 따라 우리가 지금 해야 할 일이 완전히 달라진다는 거죠.

비슷한 논쟁은 AI 연구자 커뮤니티 안에서도 진행 중이에요. Yann LeCun처럼 "현재의 LLM은 한계가 명확하다"고 보는 진영이 있고, Dario Amodei나 Sam Altman처럼 "스케일링이 아직 안 끝났다"는 쪽도 있어요. 양쪽 다 나름의 근거가 있지만, 적어도 "S자 곡선이 알아서 해결해 줄 거야"라는 식의 막연한 안심은 두 진영 모두 동의하지 않아요.

한국 개발자가 새겨볼 점

실무 입장에서 보면, 이 글의 교훈은 두 가지예요. 첫째, "AI는 곧 한계가 올 테니 굳이 깊이 공부할 필요 없다"고 미루지 말자는 것. 한계가 오긴 와도 그게 어느 능력 수준에서 올지는 아무도 모릅니다. 그 사이에 일자리도 도구도 다 바뀔 수 있어요. 둘째, AI 제품을 설계할 때 "모델 성능이 곧 천장에 닿을 것"이라는 가정 위에 비즈니스를 세우지 말자는 거예요. 1년 뒤에 같은 모델이 두 배 똑똑해져 있을 가능성은 여전히 진지하게 열려 있어요.

정리

S자 곡선은 분명히 실재하지만, 그 곡선이 어디서 누워 버릴지를 안 알려준다는 게 핵심이에요. 그러니까 "곧 평탄해질 것"이라는 말은 위로가 아니라, 사실은 가장 답해야 할 질문의 시작점인 거죠.

여러분은 지금의 LLM이 어디쯤 와 있다고 느끼세요? 아직 가파른 구간일까요, 아니면 이미 곡선이 누우려는 신호가 보이는 단계일까요?