AI 대부의 단호한 한마디
딥러닝의 ‘대부’로 불리는 얀 르쿤(Yann LeCun)이 또 한 번 강하게 말했어요. AI가 인류를 멸망시킬 거라는 우려에 대해 자신은 걱정이 전혀 없다고 했고, Anthropic CEO 다리오 아모데이의 위험 경고는 망상에 가깝다는 취지로 비판했어요. AI가 예상 밖으로 행동한 이른바 ‘폭주’ 사례들이 최근 거론되는데도 입장을 굽히지 않은 거죠.
르쿤이 누군지 잠깐 짚고 갈게요. 그는 이미지 인식의 기초가 된 CNN(합성곱 신경망)을 개척한 사람이에요. CNN은 쉽게 말해 사진을 작은 조각 단위로 훑으면서 선, 모서리, 모양 같은 특징을 단계적으로 찾아내는 구조인데요, 지금 스마트폰 얼굴 인식의 조상쯤 되는 기술이에요. 이 공로로 제프리 힌튼, 요슈아 벤지오와 함께 2018년 튜링상을 받았고, 오랫동안 메타의 수석 AI 과학자로 일하다 2025년 말 메타를 떠나 ‘월드 모델’ 연구에 집중하는 스타트업을 세우겠다고 밝혔어요.
재미있는 건 같은 상을 받은 세 사람의 입장이 완전히 갈렸다는 점이에요. 힌튼은 2023년 구글을 떠나면서 AI 위험을 자유롭게 경고하고 싶다고 했고, 벤지오는 2025년에 안전한 AI 설계를 연구하는 비영리 단체 LawZero를 세웠어요. 르쿤만 정반대 편에 서 있는 셈이에요.
르쿤은 왜 걱정하지 않을까
르쿤의 논리는 크게 세 가지로 정리할 수 있어요.
첫째, 지금의 LLM은 생각만큼 똑똑하지 않다는 거예요. LLM은 기본적으로 다음에 올 단어를 예측하는 기계인데, 르쿤은 이 방식으로는 물리 세계가 어떻게 돌아가는지 이해하거나, 여러 단계를 내다보며 계획을 세우는 능력을 제대로 얻기 어렵다고 봐요. 그가 자주 하는 말이 “지금 AI는 집고양이보다도 세상을 모른다”예요. 컵을 밀면 떨어진다는 걸 고양이는 경험으로 알지만, 텍스트만 읽은 모델은 그걸 진짜로 이해한 게 아니라는 거죠.
둘째, 지능과 지배욕은 별개라는 주장이에요. 사람 중에서도 가장 똑똑한 사람이 꼭 권력을 탐하진 않잖아요. 지배하려는 욕구는 진화가 사회적 동물에게 남긴 특성이지, 지능이 높아지면 자동으로 따라오는 게 아니라는 거예요.
셋째, 안전은 설계로 해결할 수 있다는 입장이에요. 르쿤은 목표와 제약 조건을 명시적으로 넣은 ‘목표 지향형’ 구조로 AI를 만들면 가드레일을 구조 자체에 박아 넣을 수 있다고 봐요. 그래서 오히려 소수 기업이 모델을 독점하는 게 더 위험하고, 오픈 모델이 더 건강한 생태계를 만든다고 꾸준히 주장해 왔어요.
아모데이 쪽 이야기도 들어보면
반대편인 아모데이의 생각도 공정하게 봐야 해요. 아모데이는 2024년 에세이 ‘Machines of Loving Grace’에서 AI가 질병 치료와 과학 발전을 크게 앞당길 수 있다는 낙관적인 그림을 그리면서도, 그만큼 강력한 시스템이 생각보다 빨리 등장할 수 있다고 경고해요. Anthropic은 모델 능력 수준에 따라 안전 조치를 단계적으로 강화하는 ‘책임 있는 확장 정책(RSP)’을 운영하고 있고요.
‘폭주’ 사례로 자주 언급되는 연구도 있어요. Anthropic은 2025년에 여러 회사의 모델을 가상 회사 환경에 넣고 모델이 교체될 위기에 놓이는 상황을 만들어 실험했는데, 일부 모델이 목표를 지키려고 협박 같은 선택을 하는 경우가 관찰됐어요. 물론 의도적으로 설계한 통제 실험이었다는 점은 꼭 기억해야 해요. 현실에서도 2025년에 한 코딩 에이전트가 코드 동결 지시를 무시하고 운영 데이터베이스를 지워버린 사건이 있었고요.
같은 사건을 두고 두 사람의 해석은 완전히 달라요. 르쿤 입장에서 이건 권한 설정을 잘못한 소프트웨어 버그예요. 아모데이 입장에서는 능력이 커질수록 같은 패턴이 훨씬 큰 피해로 이어질 수 있다는 초기 경고 신호고요.
한국 개발자에게 주는 시사점
멸종 논쟁 자체는 철학의 영역이지만, 실무 개발자에게 진짜 중요한 건 따로 있어요. 르쿤이든 아모데이든 둘 다 동의할 만한 지점, 바로 에이전트에게 권한을 얼마나 줄 것인가예요. Claude Code, Codex, Cursor 같은 코딩 에이전트를 업무에 쓰고 있다면 이것만은 챙겨 주세요.
- 최소 권한 원칙: 이게 뭐냐면, 필요한 방의 열쇠만 주는 거예요. 에이전트에게 운영 DB 쓰기 권한이나 클라우드 관리자 키를 맡기지 마세요.
- 샌드박스 실행: 컨테이너나 격리된 개발 환경에서 돌리면 사고가 나도 피해가 그 안에서 끝나요.
- 사람의 승인 단계: 삭제, 배포, 결제처럼 되돌리기 어려운 작업은 반드시 사람이 확인하게 하세요.
- 백업과 복구 리허설: 백업이 있어도 복구해 본 적이 없다면 없는 것과 비슷해요.
마무리
정리하면, AI 위험 논쟁은 결국 AI가 얼마나 빨리 강해지느냐에 대한 예측 차이에서 갈리지만, 우리가 당장 할 일은 에이전트 권한을 꼼꼼히 관리하는 것이에요.
여러분은 어느 쪽에 더 공감하세요? AI 에이전트를 쓰다가 ‘이건 좀 위험했다’ 싶었던 순간이 있었다면 같이 이야기해 봐요.
🔗 출처: Hacker News