DRAM 가격 폭등이 시스템 설계에 던지는 질문 - 메모리는 더 이상 공짜가 아니다

갑자기 비싸진 DRAM, 무슨 일이 일어났나

2025년 들어 DRAM 가격이 무섭게 오르고 있어요. AI 붐이 본격화되면서 HBM(High Bandwidth Memory, 고대역폭 메모리)에 대한 수요가 폭발적으로 늘었고, 메모리 제조사들이 일반 DDR 생산 라인을 줄이고 HBM 쪽으로 옮겨가면서 일반 서버용/PC용 메모리 공급이 빠듯해진 거예요. 일부 제품군은 1년 사이에 가격이 두 배 이상 뛰기도 했고, 데이터센터 운영자들은 "메모리 한 줄 더 꽂는 게 GPU 한 장 사는 것만큼 부담스럽다"고 토로하는 상황입니다.

이 상황을 EE Times에서 시스템 설계 관점으로 분석한 글이 나왔는데, 단순히 "메모리 비싸졌다"가 아니라 "우리가 지난 20년간 당연하게 여겨온 가정이 깨지고 있다"는 점을 짚어줍니다. 한번 깊게 들여다볼 만한 주제예요.

풍요의 시대가 끝났다

지난 수십 년간 시스템 설계자들은 무어의 법칙과 함께 메모리 가격이 꾸준히 떨어진다는 걸 전제로 일해왔어요. "메모리 좀 더 쓰면 어때, 어차피 매년 싸지는데"라는 게 암묵적인 가정이었죠. 그래서 인메모리 데이터베이스(Redis, Memcached), 거대한 JVM 힙, JSON으로 부풀려진 마이크로서비스 통신 같은 메모리를 펑펑 쓰는 패턴들이 자연스럽게 자리잡았습니다.

그런데 이 가정이 흔들리고 있어요. HBM 한 스택 가격이 일반 DDR5의 5~10배에 달하는 데다, 일반 DDR도 공급 부족으로 가격이 치솟고 있거든요. 게다가 AI 가속기 한 장에 들어가는 메모리 양은 이미 192GB(NVIDIA H200)를 넘어 288GB(B200)까지 늘어났어요. 메모리가 컴퓨팅 파워의 "부속품"이 아니라 시스템 비용의 주역이 되어가는 중입니다.

시스템 설계에 어떤 변화가 필요한가

원문에서 짚는 핵심 메시지는 메모리 계층(memory hierarchy)을 다시 진지하게 설계해야 한다는 거예요. 옛날에는 "CPU 캐시 → DRAM → 디스크" 정도로 간단했지만, 이제는 더 복잡해지고 있어요.

첫째로 CXL(Compute Express Link)이라는 새로운 인터커넥트 표준이 빠르게 보급되고 있어요. 이게 뭐냐면, CPU와 메모리 사이의 통신을 PCIe를 통해 확장할 수 있게 해주는 기술이에요. 쉽게 말하면 "메모리 풀(pool)"을 만들어서 여러 서버가 공유하거나, 서버 한 대가 필요할 때만 메모리를 가져다 쓰는 식의 유연한 구성이 가능해집니다. AWS나 마이크로소프트가 데이터센터에 적극 도입 중이고, 메모리 활용률을 30~50%까지 끌어올린다고 보고되고 있어요.

둘째로 HBM과 일반 DRAM의 분리가 명확해지고 있어요. AI 훈련처럼 대역폭이 절대적으로 중요한 워크로드는 HBM을, 일반 트랜잭션 처리는 DDR을 쓰는 식으로 메모리를 "용도별로" 골라 쓰는 시대가 온 거죠. 예전처럼 "좋은 메모리 한 종류만 잔뜩" 박는 방식은 더 이상 경제적이지 않아요.

셋째로 NVMe SSD의 부상입니다. 빠른 SSD를 메모리 확장처럼 쓰는 패턴이 늘고 있어요. 데이터베이스 진영에서는 RocksDB 같은 LSM-tree 기반 엔진들이 이런 변화에 잘 적응한 사례고, 최근에는 직접 SSD에 매핑되는 데이터 구조나 io_uring 같은 비동기 IO 스택을 통해 "메모리만큼 빠르진 않지만 충분히 빠른" 저장 계층을 만드는 시도가 활발합니다.

소프트웨어 차원의 대응

하드웨어만의 이야기가 아니에요. 소프트웨어도 변해야 합니다. 원문은 메모리 효율적인 자료구조와 알고리즘이 다시 중요해질 거라고 강조해요.

예를 들어 ClickHouse나 DuckDB 같은 컬럼형 데이터베이스가 인기를 끄는 이유 중 하나는 압축률이 높아서 같은 데이터를 훨씬 적은 메모리로 처리할 수 있다는 점이에요. Apache Arrow의 zero-copy 데이터 교환, Protocol Buffers나 FlatBuffers 같은 효율적인 직렬화 포맷이 다시 주목받는 것도 같은 맥락이고요. 또 Rust 같은 언어가 가비지 컬렉터 없이 메모리를 정밀하게 관리할 수 있다는 점이 시스템 프로그래밍 영역에서 더욱 매력적으로 느껴지는 시대가 되었습니다.

업계 흐름과 비교

비슷한 "자원이 비싸지면 설계가 바뀐다"는 패턴은 역사적으로 반복되어 왔어요. 클라우드 초기에 "네트워크는 공짜가 아니다"라는 깨달음이 마이크로서비스 설계에 영향을 줬고, 모바일 시대에 "배터리는 유한하다"는 제약이 효율적인 코드를 강조하게 만들었죠. 이번 DRAM 크런치도 비슷하게 "메모리는 더 이상 공짜가 아니다"라는 새로운 제약을 시스템 설계 전반에 부과하고 있어요.

흥미로운 건 이 변화가 새로운 기회도 만들어낸다는 점이에요. SK하이닉스, 삼성전자 같은 한국 메모리 제조사는 HBM 시장에서 압도적인 점유율을 가지고 있어서 이 사이클의 큰 수혜자가 되고 있고, 시스템 소프트웨어 분야에서도 메모리 효율화를 잘 해내는 팀들이 두각을 나타내고 있어요.

한국 개발자에게 주는 시사점

실무 차원에서 당장 영향을 받을 만한 부분이 몇 가지 있어요. 첫째, 클라우드 비용 관리가 더 중요해집니다. 메모리 많이 쓰는 인스턴스(R 타입 같은)의 가격이 올라갈 가능성이 크니까, 메모리 사용량을 줄이는 최적화가 직접적인 비용 절감으로 이어질 거예요.

둘째, 백엔드 설계 시 캐시 전략 재검토가 필요해요. "일단 Redis에 다 박아" 식의 패턴이 비싸지면, 어떤 데이터를 어느 계층에 둘지 더 정교하게 설계해야 합니다. 핫 데이터는 메모리, 웜 데이터는 SSD 캐시, 콜드 데이터는 객체 스토리지 같은 식의 계층 구조를 의식적으로 만드는 거죠.

셋째, AI 인프라를 직접 다루는 분들이라면 HBM 가용성과 가격 동향을 꾸준히 모니터링할 필요가 있어요. GPU 선택, 모델 크기, 배치 크기 결정에 직접적인 영향을 주거든요.