조지 호츠(George Hotz)라는 이름, 들어보셨나요? 17살에 아이폰을 세계 최초로 탈옥시키고, 소니 PS3를 해킹해서 소송까지 갔던 그 해커예요. 지금은 오픈소스 자율주행 회사 comma.ai를 만들고, 딥러닝 프레임워크 tinygrad를 개발하고 있죠. 그러니까 AI를 누구보다 가까이서, 밑바닥부터 다루는 사람인데요. 그런 그가 'LLM을 사랑하지만, 하이프는 싫다'는 글을 올렸어요. AI 낙관론과 비관론이 극단으로 갈리는 요즘, 실무자의 균형 잡힌 시각이라 곱씹어볼 만하거든요.
그가 사랑하는 것: 인터넷의 압축
호츠는 LLM을 '인터넷의 압축'이라고 불러요. 인류가 쌓아온 지식을 눌러 담아서, 언제든 불러낼 수 있는 박식한 페어 프로그래머로 만들어놓은 거라는 거죠. 실제로 그는 tinygrad 작업에 코딩 에이전트를 매일 쓴다고 해요. 보일러플레이트(반복적으로 쓰는 뼈대 코드)를 대신 쳐주고, 코드를 다른 환경으로 포팅해주고, 테스트를 작성해주고, API 질문에 문서 뒤지는 것보다 빨리 답해주고요. 특정 작업에서는 생산성이 2~3배 올랐다는 게 그의 체감이에요. 이 부분은 과장이 아니라 실제라고 못 박아요.
그가 싫어하는 것: 보간기를 신으로 파는 것
문제는 그 위에 쌓인 서사예요. AGI(범용 인공지능)가 임박했다, 지금 아키텍처의 LLM이 스스로를 재귀적으로 개선할 거다, 그러니 이 밸류에이션이 정당하다 — 이런 주장들이요. 호츠의 반박 논리는 이래요. LLM은 훈련 분포 위의 '보간기(interpolator)'라는 거예요. 이게 뭐냐면, 학습한 데이터의 범위 안에서 빈칸을 채우는 건 놀랍도록 잘하지만, 그 범위 밖으로 나가는 탐색, 그러니까 진짜 새로운 아이디어를 만들어내는 종류의 사고는 못 한다는 뜻이에요. 점들 사이를 잇는 건 잘해도, 아무도 찍어본 적 없는 곳에 점을 찍지는 못한다는 거죠.
근거로 그는 이렇게 물어요. 지금까지 LLM이 스스로 새로운 과학적 발견을 하거나, 완전히 새로운 부류의 알고리즘을 만들어낸 적이 있느냐고요. 그리고 요즘 벤치마크 점수 상승은 일반적인 능력 향상이라기보다, 벤치마크 오염(테스트 문제가 학습 데이터에 섞여 들어가는 것)과 시험 비슷한 과제에 대한 강화학습 파인튜닝의 결과가 점점 커지고 있다고 지적해요.
경제 이야기: 닷컴 시대의 광섬유
돈 얘기도 빼놓지 않아요. 업계가 매출보다 한참 앞서서 설비투자(capex)를 쏟아붓고 있고, 많은 업체의 추론(inference) 마진이 얇거나 마이너스라는 거예요. 그가 드는 비유가 닷컴 시대의 광섬유 붐이에요. 그때도 인터넷이라는 기술 자체는 진짜였지만, 타임라인과 밸류에이션은 거품이었고, 거품이 꺼진 뒤에 깔려 있던 광섬유 위에서 진짜 인터넷 시대가 열렸잖아요. LLM도 마찬가지로, 유용한 것들은 조정을 거치고도 살아남을 거라는 전망이에요.
업계 맥락에서 보면
이런 목소리가 호츠 혼자는 아니에요. 얀 르쿤은 오래전부터 'LLM은 AGI로 가는 길이 아니다'라고 주장해왔고, 반대편에는 AI 기업 리더들의 낙관론이 있죠. 호츠 포지션의 특이한 점은, 그가 LLM 회의론자가 아니라 헤비유저라는 거예요. '안 써봐서 하는 소리'라는 반박이 안 통하는 위치에서, 도구의 가치와 서사의 거품을 분리하자고 말하는 거거든요.
한국 개발자에게 주는 시사점
실무자 입장에서 가져갈 건 명확해요. 도구로서의 LLM 활용 능력은 지금 당장 키워야 해요. 코딩 에이전트로 생산성을 올리는 건 검증된 현실이니까요. 다만 커리어나 회사의 기술 스택을 '내년에 AGI가 온다'는 전제 위에 베팅하는 건 다른 문제예요. 하이프가 아니라 오늘 실제로 만들어지는 가치를 기준으로 판단하자는 거죠. 호츠의 마지막 문장이 이 글의 전부를 요약해요. "도구는 훌륭하다. 종교는 아니다."
여러분은 어느 쪽에 가까우세요? LLM의 다음 도약이 머지않았다고 보시나요, 아니면 지금이 보간기의 한계 근처라고 보시나요?
🔗 출처: Hacker News