LLM은 사실 계산을 못 한다? 그런데 어떻게 덧셈을 맞히는 걸까

"계산기도 아닌데 어떻게 더하지?"

ChatGPT 같은 거대 언어 모델(LLM)한테 "36 + 59는?"이라고 물으면 "95"라고 잘 답하죠. 그런데 곰곰이 생각해보면 신기해요. 이 모델은 다음에 올 단어를 확률로 예측하도록 학습된 거지, 우리가 학교에서 배운 "일의 자리 더하고 받아올림하고" 같은 알고리즘을 배운 적이 없거든요. 그런데도 계산을 곧잘 해내요. 도대체 머릿속(?)에서 무슨 일이 벌어지는 걸까요? 이걸 모델 내부를 직접 뜯어보며 파헤친 흥미로운 연구가 있어요.

사람처럼 더하는 게 아니더라고요

결론부터 말하면, LLM은 우리처럼 자릿수를 차곡차곡 더하지 않아요. 대신 여러 개의 어림짐작(휴리스틱) 묶음으로 답을 좁혀가요. 이걸 연구자들은 "휴리스틱의 가방(bag of heuristics)"이라고 불러요. 무슨 말이냐면, 모델 안의 어떤 부분은 "두 수의 끝자리가 6과 9면 결과 끝자리는 5쯤"이라는 식의 경험칙을 담당하고, 또 다른 부분은 "대략 30과 60을 더하면 90 근처"라는 크기 감각을 담당해요. 이런 작은 직감들이 여러 개 모여서 투표하듯 답을 만들어내는 거예요.

더 놀라운 건 모델이 숫자를 빙글빙글 도는 형태로 표현한다는 거예요. 연구자들이 모델 내부에서 숫자가 어떻게 자리잡고 있는지 들여다봤더니, 숫자들이 일직선이 아니라 시계 같은 원형, 혹은 나선(helix) 모양으로 배치돼 있었어요. 이게 뭐냐면, 사인·코사인 같은 삼각함수 패턴으로 숫자를 인코딩한 거예요. 마치 시계에서 12 다음에 1로 돌아오듯, 숫자의 "주기성"을 활용하는 거죠. 끝자리가 0,1,2...9로 반복되는 성질을 원의 회전으로 표현하면, 덧셈이 곧 "각도를 더하는 일"이 돼요. 신기하게도 모델이 학습만으로 이런 수학적 표현을 스스로 찾아낸 거예요.

그래서 가끔 틀리는 거예요

이 구조를 알면 LLM이 왜 큰 수 계산에서 종종 틀리는지도 이해가 돼요. 정확한 알고리즘이 아니라 어림짐작들의 합산이다 보니, 자릿수가 길어지면 직감들이 흔들리면서 살짝 빗나가는 거예요. 사람도 암산으로 큰 수를 더하면 어림은 맞지만 끝자리에서 실수하잖아요. 그것과 비슷한 결이에요. "정확한 계산기"가 아니라 "엄청 잘 단련된 직감 덩어리"라고 생각하면 딱 맞아요.

이 연구가 왜 중요하냐면

이건 기계적 해석가능성(mechanistic interpretability)이라는 분야의 성과예요. 쉽게 말해 "AI를 블랙박스로 두지 말고, 뉴런 하나하나가 무슨 일을 하는지 회로 수준으로 까보자"는 연구죠. 그동안 LLM은 "왜 그런 답을 냈는지" 설명하기 어려운 게 큰 약점이었어요. 그런데 덧셈이라는 단순하고 정답이 명확한 작업을 통해, 모델 내부 회로를 구체적으로 그려낼 수 있다는 걸 보여준 거예요. 작은 실마리에서 시작해 점점 복잡한 추론으로 해석을 넓혀가는 발판이 되는 거죠.

업계 흐름으로 보면, Anthropic을 비롯한 여러 곳에서 "모델 안에서 특정 개념을 담당하는 회로를 찾아내는" 연구가 활발해요. 숫자의 나선형 표현, 푸리에(주파수) 특징 같은 발견은 이런 흐름의 대표적인 결과물이고요. AI 안전성 관점에서도 중요해요. 모델이 어떤 식으로 결론에 도달하는지 알아야, 위험한 동작을 미리 잡아낼 수 있으니까요.

한국 개발자에게 주는 시사점

실무적으로 가장 큰 교훈은 "LLM에게 정확한 계산을 통째로 맡기지 마라"예요. 모델이 계산을 잘하는 것처럼 보여도 본질은 어림짐작이라, 금융 계산이나 정밀한 수치가 필요한 곳에선 위험해요. 그래서 요즘 잘 만든 AI 앱들은 계산이 필요하면 모델한테 직접 시키지 않고, 코드 실행 도구나 계산기 함수를 호출(tool use)하게 시켜요. 모델은 "이건 계산이 필요하네, 계산기를 부르자"고 판단만 하고 실제 연산은 정확한 도구에 맡기는 거죠. 이 패턴을 이해하고 있으면 AI 기능을 설계할 때 훨씬 안전한 구조를 짤 수 있어요.

또 하나, AI를 그냥 쓰는 사람과 "안을 들여다보려는" 사람의 차이는 점점 커질 거예요. 내부 동작 원리를 조금이라도 아는 개발자가 프롬프트를 짜도, 모델의 강점과 약점을 알고 짜니까 결과가 달라지거든요.

마무리

LLM은 숫자를 계산하는 게 아니라 "느낀다"에 가까워요. 잘 훈련된 직감으로 정답 근처를 짚어내는 거죠. 이걸 알고 나면 AI를 어디까지 믿고 어디서부터 도구를 붙여야 할지 감이 잡혀요. 여러분은 AI에게 계산이나 정밀 작업을 맡겼다가 틀린 답을 받아본 경험이 있으세요? 그럴 때 어떻게 보완하시나요?