외계인이 인간을 보고 "얘넨 고기로 만들어졌어"라고 했듯이
혹시 테리 비슨의 단편 SF "They're Made Out of Meat"를 아세요? 외계 탐사선 둘이 지구 생명체를 관찰하고는 충격받아서 나누는 대화예요. "걔네는... 고기로 만들어졌어." "고기? 기계 안에 고기가 들어있다는 거야?" "아니, 고기 자체가 생각을 한다고." 단백질 덩어리가 의식을 가진다는 게 도저히 믿기지 않는 거죠.
이번 글은 그 이야기를 LLM(대형 언어 모델)에 그대로 빗댄 거예요. 우리가 ChatGPT 같은 걸 보면서 느끼는 경이로움도 똑같거든요. "걔네는 weight로 만들어졌어." weight가 뭐냐면, 그냥 숫자예요. 엄청나게 많은 숫자. 그게 전부예요. 그런데 그 숫자 덩어리가 시를 쓰고 코드를 짜고 대화를 한다는 거죠.
weight가 도대체 뭔데요?
이게 핵심이라 천천히 풀어볼게요. 신경망(neural network)은 결국 거대한 곱셈과 덧셈 기계예요. 입력값이 들어오면 그걸 어떤 숫자랑 곱하고, 더하고, 또 곱하고... 이걸 수십 층 반복해서 출력을 내요. 이때 "어떤 숫자랑 곱하느냐"를 결정하는 그 숫자들이 바로 weight(가중치)예요.
비유하자면 거대한 믹싱 콘솔의 노브(손잡이) 수천억 개라고 보면 돼요. GPT급 모델이면 이 노브가 수천억 개, 많으면 조 단위로 있어요. 학습(training)이라는 건 이 노브들을 하나하나 미세하게 돌려서, 인터넷 전체 텍스트를 가장 잘 예측하도록 맞춰가는 과정이에요. 다 맞추고 나면? 그 노브 위치값들의 묶음, 그게 바로 우리가 다운로드하는 모델 파일(.safetensors 같은 거)이에요.
그래서 충격 포인트가 여기 있어요. 모델 안에는 "지식"이 글자로 저장돼 있지 않아요. 위키피디아 텍스트가 들어있는 게 아니라, 그 텍스트를 학습하면서 조정된 숫자만 들어있어요. "대한민국의 수도는 서울"이라는 사실도 어딘가의 weight 분포 속에 흐릿하게 녹아있을 뿐, 검색해서 꺼낼 수 있는 형태가 아니에요. 고기가 생각하는 게 안 믿기듯이, 숫자가 지식을 품는 것도 사실 안 믿기는 거죠.
이걸 알면 뭐가 달라지나요
이 관점은 단순한 철학 놀이가 아니라 실무 직관을 바꿔줘요.
첫째, 환각(hallucination)이 왜 생기는지 자연스럽게 이해돼요. 모델은 사실을 "조회"하는 게 아니라 weight를 따라 다음 단어를 "확률적으로 생성"할 뿐이거든요. 그럴듯한 패턴이 있으면 없는 논문 제목도 자신 있게 만들어내요. 데이터베이스가 아니라 압축된 통계 모델이라서 그래요.
둘째, 파인튜닝이나 양자화(quantization) 같은 걸 다룰 때 감이 잡혀요. 양자화는 이 숫자들을 32비트에서 4비트로 줄여서 정밀도를 낮추는 건데, 노브를 좀 거칠게 돌려도 소리가 크게 안 망가지는 것과 비슷해요. 그래서 모델 용량이 확 줄어도 성능은 어느 정도 유지되는 거고요.
셋째, 오픈웨이트(open-weight) 모델의 의미도 분명해져요. 라마(Llama)나 미스트랄 같은 모델이 "오픈"이라는 건 코드가 아니라 이 weight 숫자 뭉치를 공개했다는 뜻이에요. 그래서 누구나 자기 GPU에 올려서 돌릴 수 있는 거죠.
업계 흐름에서 보면
요즘 AI 논쟁이 자꾸 "모델이 생각하나, 이해하나" 같은 방향으로 흐르는데, 이 글은 일부러 가장 건조한 관점으로 끌어내려요. 결국 weight라고요. 비슷한 결의 이야기로는 "확률적 앵무새(stochastic parrot)" 논문이 있고, 반대편엔 "그래도 weight 안에 세계 모델이 형성된다"는 연구들도 있어요. 흥미로운 건 SF의 외계인처럼, 우리도 "숫자가 그럴 리 없어"와 "그래도 뭔가 일어나고 있어" 사이에서 똑같이 헷갈리고 있다는 점이에요.
한국 개발자에게
LLM을 막연한 마법 상자로 보면 프롬프트 한 줄에도 일희일비하게 돼요. 하지만 "이건 거대한 숫자 함수일 뿐"이라는 멘탈 모델을 가지면, 왜 같은 질문에 답이 달라지는지, 왜 컨텍스트가 중요한지, 왜 가끔 거짓말을 하는지가 훨씬 차분하게 이해돼요. AI를 쓰는 입장에선 이 "환상 깨기"가 오히려 실력의 출발점이거든요.
여러분은 어떠세요? LLM을 "숫자 덩어리"라고 생각하면 좀 김이 빠지나요, 아니면 오히려 더 신기한가요? 고기가 생각하는 것과 숫자가 생각하는 것, 둘 중 뭐가 더 믿기 어려운지 댓글로 이야기해봐요.
🔗 출처: Hacker News