0.1 + 0.2가 왜 0.3이 아닐까 — 부동소수점 오류를 컴파일러가 잡아주는 FPChecker

컴퓨터가 소수 계산을 못 믿을 때

프로그래밍 좀 해보셨다면 한 번쯤 이 마법 같은 장면을 보셨을 거예요. 파이썬이든 자바스크립트든 콘솔에 0.1 + 0.2를 쳐보면 0.3이 아니라 0.30000000000000004 같은 이상한 값이 나와요. 버그가 아니라 컴퓨터가 소수를 저장하는 방식 때문이에요. 이번에 소개할 FPChecker는 바로 이런 부동소수점(floating-point) 오류를 컴파일러 차원에서 잡아주는 도구예요.

먼저 왜 이런 일이 생기는지 짚고 갈게요. 컴퓨터는 모든 걸 0과 1, 즉 2진수로 저장해요. 그런데 0.1이나 0.3 같은 숫자는 2진수로는 딱 떨어지게 표현이 안 돼요. 우리가 1/3을 십진수로 쓰면 0.3333...으로 무한히 이어지는 것과 똑같은 상황이에요. 그래서 컴퓨터는 어쩔 수 없이 가장 가까운 근사값으로 잘라서 저장하는데, 이 미세한 오차가 계산을 거듭할수록 눈덩이처럼 쌓여요. 이런 방식을 부동소수점이라고 불러요. 소수점(point)이 고정돼 있지 않고 둥둥 떠다닌다(float)는 뜻이에요.

조용히 쌓이는 오차가 진짜 위험한 이유

일상적인 앱에서야 소수점 열몇 번째 자리 오차는 별문제가 안 돼요. 문제는 과학 계산이나 시뮬레이션, HPC(고성능 컴퓨팅) 같은 분야예요. 기후 시뮬레이션, 물리 엔진, 금융 모델처럼 어마어마한 양의 계산을 반복하는 곳에서는 이 작은 오차가 결과를 완전히 뒤집어버릴 수 있거든요.

더 무서운 건 NaN이나 Infinity(무한대) 같은 값이에요. 0으로 나누거나 표현 범위를 넘어서면 이런 값이 튀어나오는데, 이게 프로그램을 뻗게 하지 않고 조용히 계속 계산에 섞여 들어가요. 그러다 몇 시간 돌린 슈퍼컴퓨터 결과물 맨 끝에서 NaN 하나가 발견되면, 어디서부터 잘못됐는지 찾느라 며칠을 날리게 되는 거죠.

FPChecker는 어떻게 잡아내나

여기서 FPChecker의 접근이 똑똑해요. 이 도구는 미국 로렌스 리버모어 국립연구소(LLNL)에서 만든 건데, LLVM/Clang 컴파일러에 얹혀서 동작해요.

원리를 쉽게 설명하면 이래요. 코드를 컴파일할 때, FPChecker가 모든 부동소수점 연산 사이사이에 감시 코드를 자동으로 심어요(이걸 계측, instrumentation이라고 해요). 그래서 프로그램이 실제로 돌아갈 때, 각 계산의 결과가 NaN이 됐는지, 무한대로 넘쳤는지, 아니면 너무 작아서 0으로 뭉개지는(underflow) 위험한 상태인지를 실시간으로 감시해요. 문제가 감지되면 "몇 번째 줄, 어떤 연산에서 오류가 났다"고 정확히 짚어줘요. 게다가 CPU뿐 아니라 GPU 코드까지 지원해서, 요즘 대규모 병렬 계산 환경에서도 쓸 수 있어요. 소스 코드를 손댈 필요 없이 컴파일 단계에서 자동으로 끼워 넣는다는 게 핵심 장점이에요.

비슷한 도구들과 비교

부동소수점 문제를 다루는 도구가 FPChecker만 있는 건 아니에요. 예를 들어 Herbie는 부정확한 수식을 자동으로 더 정확한 형태로 다시 써주는 도구고, Verrou는 valgrind 기반으로 계산의 수치 안정성을 확률적으로 검사해요. FPChecker의 자리매김은 '수식을 고쳐주는' 쪽이 아니라 '실행 중에 위험한 예외 상황을 저비용으로 탐지·프로파일링하는' 쪽에 가까워요. 즉 원인 진단과 디버깅에 특화된 도구인 셈이에요.

한국 개발자에게 주는 시사점

"난 과학 계산 안 하는데?" 싶어도 남 일이 아니에요. 요즘 머신러닝 학습이 바로 부동소수점 계산 덩어리거든요. 학습 중에 loss가 갑자기 NaN으로 터지는 경험, ML 하시는 분들은 다 겪어보셨죠? 그게 정확히 이 문제예요. 금융권 정산 시스템, 게임 물리 엔진, 그래픽스 처리를 하는 분들에게도 직결되고요. 당장 FPChecker를 도입하진 않더라도, '부동소수점은 근사값이고 오차는 쌓인다'는 감각과 이걸 진단하는 도구가 있다는 사실을 알아두는 것만으로도 디버깅 시야가 확 넓어져요.

핵심 한 줄: 컴퓨터의 소수 계산은 원래 부정확하고, 그 부정확함을 컴파일러가 대신 감시해 주는 시대예요.

여러분은 NaN이나 이상한 소수 오차 때문에 며칠 고생해 본 경험이 있으신가요?