평균을 내면 답이 나온다는 믿음
통계나 머신러닝을 조금이라도 해봤다면 몬테카를로 추정을 알고 계실 거예요. 이게 뭐냐면, 어떤 기댓값을 정확히 계산하기 어려울 때 샘플을 많이 뽑아서 평균을 내는 방법이에요. 주사위를 1만 번 던져서 평균이 3.5 근처로 가는 걸 확인하는 것과 같은 원리죠. 샘플이 많아질수록 오차가 줄어든다는 게 큰 장점이에요.
그런데 이 믿음이 크게 흔들리는 상황이 있어요. 바로 지수함수의 평균, 즉 E[exp(X)] 같은 값을 추정할 때예요. 머신러닝 연구자 Francis Bach가 블로그에서 이 문제를 다루면서, 평균 대신 최소제곱법과 스펙트럴 방법을 써서 로그 밀도(log density)를 추정하는 접근을 소개했어요.
왜 분산이 폭발할까
직관적으로 설명해 볼게요. exp 함수는 입력이 조금만 커져도 출력이 엄청나게 커져요. exp(10)은 약 2만 2천, exp(20)은 약 4억 8천만이에요. 그래서 X를 샘플링하다가 드물게 큰 값이 하나 나오면, 그 샘플 하나가 평균 전체를 좌지우지하게 돼요.
비유하자면 동네 사람 100명의 평균 재산을 조사하는데, 그중에 재벌이 한 명 끼어 있는 상황이에요. 그 사람이 표본에 들어가느냐 마느냐에 따라 평균이 완전히 달라지죠. 문제는 그 재벌 같은 샘플이 아주 드물게 나온다는 거예요. 샘플 1천 개를 뽑아도 한 번도 안 나올 수 있고, 그러면 추정치는 실제보다 한참 작게 나와요. 그러다 어쩌다 한 번 나오면 값이 확 튀고요.
수학적으로는 추정량의 분산이 X의 분산에 대해 지수적으로 커지는 상황이 생겨요. 평균을 안정적으로 맞추려면 필요한 샘플 수도 지수적으로 늘어나고요. '샘플 많이 뽑으면 되지'가 현실적으로 불가능해지는 거예요.
최소제곱이 구원투수가 되는 방식
Bach가 제안하는 방향의 핵심 아이디어는 이래요. 지수 공간에서 직접 평균을 내지 말고, 로그 공간에서 함수 자체를 근사하자는 거예요. 로그 밀도를 어떤 기저 함수들(예를 들어 푸리에 기저 같은 것)의 조합으로 표현하고, 그 계수를 최소제곱 문제로 푸는 방식이에요.
최소제곱법이 뭐냐면, 데이터와 모델 사이의 오차 제곱합이 가장 작아지도록 파라미터를 고르는 방법이에요. 엑셀에서 추세선 긋는 것과 같은 원리예요. 이 방식의 장점은 몇 개의 극단값에 휘둘리지 않고, 전체 샘플이 가진 구조적 정보를 골고루 활용한다는 거예요. 평균은 샘플 하나하나를 그냥 더하지만, 최소제곱은 함수의 모양을 맞추는 문제로 바꿔서 훨씬 안정적인 추정을 끌어내요. 스펙트럴이라는 말은 이런 기저 함수 분해, 즉 신호를 주파수 성분으로 나눠 보는 관점을 가리킨다고 이해하시면 돼요.
업계 맥락: 생각보다 자주 마주치는 문제
이 문제는 학술적인 이야기처럼 보이지만 실무에서 꽤 자주 등장해요.
- 중요도 샘플링(importance sampling): 강화학습의 오프폴리시 평가에서 가중치가 확률 비율의 곱이라 폭발하기 쉬워요.
- 분배 함수 추정: 에너지 기반 모델이나 베이지안 추론에서 exp가 들어간 적분을 계산해야 해요.
- LLM의 log-sum-exp: 소프트맥스 계산에서도 exp 때문에 수치가 튀는 걸 막으려고 로그 공간 트릭을 써요.
한국 개발자에게 주는 시사점
ML 엔지니어나 데이터 사이언티스트라면 기억해 둘 교훈이 분명해요. 모델 학습이나 평가 지표가 이유 없이 들쭉날쭉하다면, 어딘가에서 exp가 들어간 평균을 내고 있는지 먼저 의심해 보세요. 그리고 가능하면 로그 공간에서 계산하는 습관을 들이는 게 좋아요. 수식이 조금 무거운 글이지만, 선형대수와 확률 기초만 있으면 따라갈 수 있어서 주말 공부 자료로도 추천할 만해요.
마무리
한 줄 정리: 지수함수의 평균은 샘플을 늘려도 잘 안 잡히고, 로그 공간에서 함수를 근사하는 최소제곱 접근이 훨씬 안정적일 수 있어요.
여러분은 실무에서 분산 폭발 때문에 고생해 본 경험이 있으신가요? 어떤 방법으로 해결하셨는지 궁금해요!
🔗 출처: Hacker News