Hacker News 2026.03.28 33

메모리 최적화, 옛날 기법이 다시 뜨는 이유

메모리가 남아돌던 시대는 끝났다?

한동안 개발자들 사이에서 "메모리는 싸니까 신경 쓰지 마"라는 분위기가 있었어요. RAM 가격이 계속 떨어지고, 클라우드에서 서버 스펙을 올리기도 쉬우니까, 메모리 최적화에 공들이는 게 시간 낭비처럼 느껴지던 시절이 있었죠. 그런데 요즘 분위기가 좀 달라지고 있어요. "Everything old is new again(옛것이 다시 새로워진다)"이라는 제목의 글이 이 변화를 잘 짚어주고 있거든요.

왜 갑자기 메모리 최적화가 다시 중요해졌을까요? 이유가 몇 가지 있는데요, 가장 큰 건 AI와 머신러닝 워크로드의 폭발적 증가예요. GPU 메모리(VRAM)는 여전히 비싸고, 대형 모델을 돌리려면 메모리를 한 바이트라도 아껴야 하거든요. 또 모바일 기기나 임베디드 환경에서 돌아가는 소프트웨어가 늘면서, 제한된 메모리에서 효율적으로 동작하는 코드의 가치가 다시 올라갔어요.

어떤 기법들이 다시 주목받고 있나요?

이 글에서 다루는 기법들은 사실 C/C++ 시대의 시스템 프로그래머들이 오래전부터 써오던 것들이에요. 하나씩 살펴볼게요.

첫 번째는 메모리 풀링(Memory Pooling)이에요. 이게 뭐냐면, 매번 운영체제한테 "메모리 좀 줘"라고 요청하는 대신, 미리 큰 덩어리를 받아놓고 그 안에서 나눠 쓰는 거예요. 식당으로 비유하면, 손님이 올 때마다 접시를 새로 사는 대신, 접시를 미리 잔뜩 사놓고 쓰고 씻고 다시 쓰는 거죠. malloc/free를 반복하면 메모리 파편화(fragmentation)가 생기는데, 풀링은 이걸 막아줘요.

두 번째는 구조체 패킹(Struct Packing)이에요. 컴퓨터는 성능을 위해 데이터를 메모리에 정렬해서 저장하는데, 이때 빈 공간(패딩)이 생겨요. 예를 들어 1바이트짜리 변수 다음에 8바이트짜리 변수가 오면, 중간에 7바이트가 비어요. 구조체 안의 변수 순서를 잘 배치하면 이 낭비를 줄일 수 있거든요. 옛날에는 기본 중의 기본이었는데, 요즘 개발자들은 잘 신경 안 쓰는 부분이에요.

세 번째는 데이터 지향 설계(Data-Oriented Design, DOD)예요. 객체 지향 프로그래밍(OOP)에서는 관련 데이터를 하나의 객체 안에 묶잖아요. 그런데 DOD는 같은 종류의 데이터를 모아서 배열로 관리해요. 이렇게 하면 CPU 캐시 히트율이 올라가서 같은 연산을 훨씬 빠르게 처리할 수 있어요. 게임 엔진 쪽에서는 이미 많이 쓰이는 방식인데, 최근에는 웹 서버나 데이터 처리 파이프라인에서도 도입하는 사례가 늘고 있어요.

왜 지금 다시 이 이야기가 나올까

몇 가지 업계 변화가 겹쳤어요. 우선 클라우드 비용 절감 압력이 커졌어요. 팬데믹 이후 "성장만 하면 된다"던 시기가 지나고, 이제는 인프라 비용을 최적화해야 하는 시기가 왔거든요. 메모리를 절반만 써도 되면, 서버 인스턴스 스펙을 내릴 수 있고, 그게 바로 비용 절감으로 이어져요.

또 Rust 언어의 부상도 한몫해요. Rust는 메모리 안전성과 효율성을 언어 차원에서 강조하면서, 개발자들이 메모리에 대해 다시 생각하게 만들었거든요. Go 언어의 가비지 컬렉터 튜닝이나, Java의 ZGC/Shenandoah 같은 새로운 GC(가비지 컬렉터, 안 쓰는 메모리를 자동으로 정리해주는 기능)도 결국 "메모리를 어떻게 하면 더 잘 관리할까"라는 고민에서 나온 거예요.

그리고 Zig, Odin 같은 새로운 시스템 프로그래밍 언어들이 "C의 단순함 + 현대적 안전장치"를 내세우면서 주목받고 있는 것도 같은 맥락이에요. 추상화를 줄이고, 개발자가 메모리를 직접 통제하는 것의 가치가 재조명되고 있는 거죠.

한국 개발자에게 주는 시사점

"나는 Python/JavaScript 쓰는데 이게 나한테 무슨 상관이야?"라고 생각할 수 있어요. 하지만 꽤 상관이 있어요. 예를 들어 pandas로 대용량 데이터를 처리할 때, 데이터 타입을 int64 대신 int32나 int16으로 줄이면 메모리 사용량이 절반 이하로 떨어져요. Node.js에서 스트림을 쓰는 이유도 전체 데이터를 메모리에 올리지 않기 위해서잖아요. 레벨은 다르지만, 근본적인 사고방식은 같아요.

특히 요즘 한국에서도 AI 서비스를 직접 개발하는 팀이 늘고 있는데, GPU 메모리 관리는 피할 수 없는 주제예요. 모델 양자화(quantization), KV 캐시 최적화, 배치 처리 전략 같은 것들이 전부 메모리 최적화의 연장선이거든요.

컴퓨터 과학의 기본기가 왜 중요한지를 다시 한번 보여주는 사례이기도 해요. 트렌디한 프레임워크는 매년 바뀌지만, 메모리 구조와 CPU 캐시의 원리는 수십 년째 같거든요. 이런 기초를 탄탄히 다져두면 어떤 기술이 오든 빠르게 적응할 수 있어요.