부동소수점을 밑바닥부터 하드웨어로 구현하기 — 소프트웨어 개발자도 알아두면 좋은 이야기

부동소수점, 그게 대체 뭔데 이렇게 어려운 건가요?

개발하다 보면 한 번쯤은 이런 경험을 해보셨을 거예요. 0.1 + 0.2를 계산했는데 0.30000000000000004가 나오는 거. "아 컴퓨터가 소수점 계산을 못 하는구나"라고 넘어가기엔, 그 뒤에 숨어 있는 이야기가 정말 깊거든요.

최근 공개된 "Floating Point from Scratch: Hard Mode"라는 프로젝트는 부동소수점 연산을 소프트웨어 라이브러리가 아니라 하드웨어 수준에서 직접 구현하는 과정을 상세히 다루고 있어요. RTL(Register Transfer Level)로 부동소수점 유닛(FPU)을 설계하는 건데, 이게 왜 'Hard Mode'냐면 — 소프트웨어에서 부동소수점을 다루는 것도 충분히 복잡한데, 하드웨어에서 구현하면 그 복잡도가 완전히 다른 차원이거든요.

부동소수점의 기본 구조를 먼저 짚어볼게요

부동소수점 숫자는 IEEE 754라는 국제 표준으로 정의되어 있어요. 32비트 부동소수점(float)을 예로 들면, 32개의 비트가 세 부분으로 나뉘어요. 부호(sign) 1비트, 지수(exponent) 8비트, 가수(mantissa 또는 significand) 23비트. 이게 뭐냐면, 과학적 표기법과 비슷한 거예요. 예를 들어 1.5 × 10³에서 1.5가 가수, 3이 지수, 그리고 앞에 +/-가 부호인 셈이에요. 다만 컴퓨터는 10진수가 아니라 2진수를 쓰니까 1.1 × 2¹ 같은 식으로 표현하는 거죠.

이 구조 자체는 그렇게 어렵지 않은데, 문제는 이 숫자들로 연산을 해야 할 때 시작돼요. 덧셈 하나를 하려면 지수를 맞추고(alignment), 가수를 더하고, 결과를 다시 정규화(normalization)하고, 반올림(rounding)을 해야 해요. 그리고 이 각 단계에서 정밀도를 잃지 않으면서 IEEE 754 표준을 정확히 지켜야 하거든요.

하드웨어 구현이 특별히 어려운 이유

소프트웨어에서는 부동소수점 연산을 순차적으로 처리할 수 있어요. "먼저 지수를 비교하고, 그 다음 시프트하고, 그 다음 더하고..." 이런 식으로요. 하지만 하드웨어에서는 이 모든 과정이 조합 논리 회로로 구현되어야 해요. 이게 뭐냐면, 소프트웨어처럼 한 줄씩 실행하는 게 아니라, 전기 신호가 회로를 통과하면서 한 번에 결과가 나와야 한다는 뜻이에요.

특히 곱셈은 더 복잡한데요. 가수부끼리 곱하면 비트 수가 두 배로 늘어나고, 지수부는 더해야 하고, 특수한 경우(0, 무한대, NaN)도 모두 처리해야 해요. 이 프로젝트에서 'Hard Mode'라고 부르는 건, 단순히 "대충 동작하는" 수준이 아니라 IEEE 754의 모든 엣지 케이스와 반올림 모드를 정확하게 구현하겠다는 의미예요.

반올림만 해도 IEEE 754에는 네 가지 모드가 있어요 — 가장 가까운 짝수로(round to nearest even), 양의 무한대 쪽으로, 음의 무한대 쪽으로, 그리고 0 쪽으로. 이 네 가지를 하드웨어에서 모두 지원하려면 추가 로직이 상당히 필요하거든요.

이걸 왜 알아야 할까요?

"나는 하드웨어 엔지니어가 아닌데 이걸 왜 알아야 하지?"라고 생각할 수 있어요. 하지만 부동소수점의 하드웨어 동작 원리를 이해하면, 소프트웨어에서 겪는 많은 문제들의 근본 원인이 보이기 시작해요.

예를 들어, 왜 금융 시스템에서 float 대신 Decimal을 써야 하는지, 왜 머신러닝에서 FP16(반정밀도)이나 BFloat16 같은 다양한 부동소수점 형식을 쓰는지, GPU의 텐서 코어가 왜 특정 부동소수점 형식에 최적화되어 있는지 — 이런 것들이 다 연결돼요.

최근 AI 칩 경쟁이 치열해지면서, 구글의 TPU는 BFloat16을, NVIDIA의 최신 GPU는 FP8까지 지원하는데, 이런 형식들이 왜 등장했고 어떤 트레이드오프가 있는지 이해하려면 부동소수점의 하드웨어 수준 이해가 큰 도움이 돼요.

한국 개발자에게 주는 시사점

국내에서도 반도체와 AI 하드웨어에 대한 관심이 뜨거운 요즘, 이런 로우레벨 구현 프로젝트를 살펴보는 건 꽤 가치 있는 일이에요. 특히 시스템 프로그래밍이나 임베디드 개발을 하시는 분들에게는 직접적으로 도움이 될 수 있고, 일반적인 백엔드/프론트엔드 개발자라도 부동소수점의 한계를 정확히 이해하고 있으면 버그를 미리 예방할 수 있어요.

예를 들어, JavaScript에서 큰 정수를 다룰 때 Number.MAX_SAFE_INTEGER(2⁵³ - 1)를 넘으면 정밀도를 잃는 이유도, 내부적으로 64비트 부동소수점을 쓰기 때문이거든요. 가수부가 52비트니까 그 이상의 정수는 정확히 표현할 수 없는 거예요. 이런 지식이 있으면 BigInt를 써야 할 타이밍을 정확히 판단할 수 있죠.

한 줄 정리

부동소수점을 하드웨어에서 밑바닥부터 구현하는 이 프로젝트는, 우리가 매일 쓰는 float와 double 뒤에 숨어 있는 엄청난 복잡성을 보여주는 훌륭한 교육 자료예요.

여러분은 부동소수점 때문에 버그를 겪어본 적 있으신가요? 금융 데이터 처리, 좌표 계산, 혹은 ML 모델 학습에서 정밀도 문제를 경험했다면 어떻게 해결하셨는지 공유해 주세요!