무슨 이야기인가요
안드레이 카파시(Andrej Karpathy)가 'LLM이 무엇을 할 수 있는지에 대해 사람들이 공유하는 이해의 격차가 점점 벌어지고 있다'는 이야기를 꺼냈어요. 카파시는 OpenAI 창립 멤버이자 테슬라에서 AI 총괄을 지낸 사람이고, '바이브 코딩(vibe coding)'이라는 말을 처음 퍼뜨린 장본인이기도 하죠.
이 문제의식, 사실 우리 주변에서 매일 보이지 않나요? 어떤 개발자는 'AI가 이제 내 업무의 절반을 한다'고 하고, 옆자리 동료는 'ChatGPT 써봤는데 엉터리 코드만 주던데?'라고 해요. 둘 다 거짓말을 하는 게 아니에요. 각자의 경험은 진짜인데, 그 경험의 바탕이 너무 달라서 대화가 안 되는 거예요. 한 사람은 경차를, 다른 사람은 F1 머신을 떠올리면서 '자동차는 빠른가?'를 두고 토론하는 상황이라고 보면 돼요.
아래는 이 문제의식을 출발점으로 격차가 왜 생기고 왜 벌어지는지 정리한 내용이에요. 카파시의 정확한 표현은 원문에서 확인해 주세요.
격차를 만드는 다섯 가지 요인
1. 어떤 모델을 쓰느냐 무료 기본 모델과 유료 최상위 추론 모델은 같은 회사 제품이어도 체감 성능이 꽤 달라요. 추론 모델이 뭐냐면, 답을 바로 내놓지 않고 내부적으로 한참 '생각'하는 과정을 거치는 모델이에요. 복잡한 디버깅이나 설계 문제에서 이 차이가 확 드러나요. 그런데 대부분의 사람은 무료 버전으로 첫인상을 만들죠.
2. 어떻게 쓰느냐 채팅창에 질문 한 줄 던지는 것과, 에이전트에게 코드베이스 접근 권한을 주고 테스트를 돌리며 수십 분 동안 작업하게 하는 건 완전히 다른 경험이에요. 에이전트 방식에서는 AI가 직접 파일을 열고, 실행하고, 에러를 보고 고쳐요. 같은 모델이라도 '도구를 쥐여줬는지'에 따라 결과물이 달라지는 거죠.
3. 언제 써봤느냐 LLM 분야는 몇 달 만에 판도가 바뀌어요. AI 평가 기관 METR은 AI가 50% 확률로 끝낼 수 있는 작업의 길이(사람 기준 소요 시간)가 대략 7개월마다 두 배씩 늘고 있다는 분석을 내놓은 적이 있어요. 1년 전에 써보고 '별로네' 하고 접은 사람의 기준점은 이미 한참 뒤처져 있을 수 있다는 뜻이에요.
4. 어떤 작업이냐 — 들쭉날쭉한 지능 카파시가 예전부터 '들쭉날쭉한 지능(jagged intelligence)'이라고 불러온 특성이 있어요. LLM은 어려운 수학 문제를 풀면서도 엉뚱하게 간단한 숫자 비교에서 틀리기도 해요. 능력의 지형이 사람처럼 매끈하지 않고 울퉁불퉁하거든요. 내가 마침 '골짜기'에 해당하는 작업만 시켜봤다면 형편없어 보이고, '봉우리'만 경험했다면 천재처럼 보여요.
5. 맥락을 얼마나 잘 주느냐 같은 모델도 필요한 정보를 잘 정리해서 주면 결과가 확 좋아져요. 요즘 '컨텍스트 엔지니어링'이라는 말이 뜨는 이유예요. 이 숙련도 차이가 체감 성능 차이로 그대로 이어져요.
왜 격차가 '벌어지는' 걸까
핵심은 최전선이 빠르게 앞으로 가는 동안 대다수 사람의 기준점은 제자리에 머문다는 거예요. 최상위 모델과 에이전트 도구를 매일 쓰는 사람은 매달 '어, 이것도 되네?'를 경험하며 기대치가 올라가요. 반면 가끔 무료 버전을 써보는 사람은 그 변화를 못 느끼죠. 두 그룹의 거리가 시간이 갈수록 멀어지는 구조예요.
반대 방향의 착각도 있어요. METR이 2025년에 숙련된 오픈소스 개발자들을 대상으로 한 실험에서, AI 도구를 쓴 쪽이 실제로는 작업이 약 19% 느려졌는데 본인들은 오히려 20% 정도 빨라졌다고 느꼈다는 결과가 나왔어요. 즉 '체감'만으로는 과대평가도 과소평가도 다 일어날 수 있다는 거예요. 격차의 본질은 결국 측정 없이 인상으로 판단한다는 데 있어요.
한국 개발자에게 주는 시사점
- 팀 안의 전제부터 맞추세요. 'AI 써보니 어때?' 논쟁이 생기면 어떤 모델을, 어떤 방식으로, 어떤 작업에 썼는지부터 맞춰보세요. 그것만으로 논쟁의 절반은 사라져요.
- 내 업무로 직접 측정해 보세요. 벤치마크나 남의 후기보다, 우리 팀의 실제 이슈 몇 개를 골라 AI와 함께 처리해 보고 시간과 품질을 기록하는 게 훨씬 정확해요.
- 기준점을 주기적으로 갱신하세요. 3~6개월에 한 번은 최신 도구로 같은 과제를 다시 시도해 보세요. '예전에 해봤는데 안 되더라'는 이 분야에서 가장 빨리 낡는 문장이거든요.
- 의사결정자와 실무자의 간극도 조심하세요. 경영진은 데모 영상으로 기대치를 정하고, 실무자는 골짜기를 매일 겪어요. 이 간극이 무리한 일정으로, 혹은 반대로 과도한 불신으로 이어질 수 있어요.
마무리
한 줄 정리: LLM에 대한 평가가 엇갈리는 건 누가 틀려서가 아니라, 각자 전혀 다른 AI를 경험하고 있기 때문이에요.
여러분은 지금 어느 쪽에 가까우세요? 그리고 팀에서 'AI가 얼마나 쓸모 있는가'를 두고 의견이 갈렸을 때 어떻게 합의점을 찾으셨는지 경험을 나눠주세요.
🔗 출처: Hacker News