Cloudflare 13세대 서버 — 캐시를 줄이고 코어를 늘려 성능 2배를 만든 이야기

서버 한 대의 설계가 곧 인프라 전략이다

Cloudflare가 자사 엣지 네트워크에 배치할 13세대(Gen 13) 서버의 설계를 공개했어요. Cloudflare는 전 세계 300개 이상의 도시에 데이터센터를 운영하면서 웹 트래픽의 상당 부분을 처리하는 회사인데요, 이들이 서버 한 대를 어떻게 구성하느냐는 단순한 하드웨어 이야기가 아니라 글로벌 인프라의 방향성을 보여주는 거라 흥미로워요.

이번 세대의 가장 큰 특징은 제목 그대로 "캐시를 줄이고 코어를 늘렸다"는 거예요. 기존 서버 설계 철학을 꽤 크게 바꾼 건데, 왜 이런 결정을 내렸는지 살펴볼게요.

무엇이 달라졌나

기존 Cloudflare 서버들은 대용량 SSD 캐시를 탑재해서 정적 콘텐츠(이미지, CSS, JS 파일 등)를 최대한 엣지에서 직접 서빙하는 데 초점을 맞췄어요. CDN 회사니까 당연한 선택이었죠. 그런데 Gen 13에서는 이 캐시 용량을 상당히 줄이는 대신, CPU 코어 수를 대폭 늘렸어요.

이게 뭘 의미하냐면, Cloudflare의 워크로드 자체가 변하고 있다는 거예요. 예전에는 "저장된 파일을 빠르게 전달하는 것"이 핵심이었다면, 지금은 Workers(서버리스 컴퓨팅), AI 추론, WAF(웹 애플리케이션 방화벽) 규칙 평가, 봇 감지 같은 연산 중심 작업이 훨씬 많아진 거예요. 단순히 파일을 던져주는 게 아니라 요청마다 복잡한 로직을 실행해야 하니까, 저장 공간보다 CPU가 더 필요해진 거죠.

구체적인 수치를 보면, AMD EPYC 프로세서 기반으로 이전 세대 대비 약 2배의 요청 처리 성능을 달성했다고 해요. 전력 소비 대비 성능(성능/와트)도 크게 개선되었고요. 같은 랙 공간에서 더 많은 일을 처리할 수 있게 된 거예요.

캐시를 줄여도 괜찮은 이유

"CDN 회사가 캐시를 줄인다고?"라고 생각할 수 있는데, 여기에는 몇 가지 배경이 있어요. 첫째, Cloudflare의 네트워크 토폴로지가 이미 충분히 촘촘해서, 캐시 미스(miss)가 나더라도 가까운 다른 노드에서 빠르게 가져올 수 있는 구조가 되어 있어요. 이걸 티어드 캐싱(tiered caching)이라고 하는데, 모든 서버가 모든 콘텐츠를 다 들고 있을 필요 없이, 계층적으로 캐시를 공유하는 방식이에요.

둘째, 메모리 기반 캐싱이 더 효율적인 워크로드가 많아졌어요. 자주 접근되는 핫 데이터는 RAM에서 서빙하고, SSD까지 내려가는 경우를 줄이는 방향으로 최적화한 거죠. 셋째, 요즘 웹 트래픽 특성 자체가 변하고 있어요. 동적 콘텐츠, API 호출, 실시간 처리의 비중이 점점 커지고 있고, 이건 캐시로 해결할 수 없는 영역이에요.

업계 흐름과의 연결

이런 방향 전환은 Cloudflare만의 이야기가 아니에요. AWS의 Lambda@Edge, Fastly의 Compute@Edge, Deno Deploy 같은 서비스들도 엣지에서 단순 캐싱이 아니라 컴퓨팅을 실행하는 방향으로 진화하고 있거든요. 엣지 컴퓨팅이라는 큰 흐름 속에서, 하드웨어 설계까지 이 방향에 맞춰 바뀌고 있다는 게 Gen 13이 보여주는 시그널이에요.

특히 AI 추론 워크로드가 엣지로 내려오는 추세를 고려하면, 앞으로 엣지 서버에 GPU나 전용 AI 가속기가 들어가는 것도 시간문제일 수 있어요. Cloudflare도 이미 Workers AI를 서비스하고 있고, 이번 서버 설계에서 CPU 중심으로 간 건 그 중간 단계로 볼 수 있어요.

한국 개발자에게 주는 시사점

Cloudflare Workers를 쓰고 있거나 도입을 고려하는 팀이라면 반가운 소식이에요. 더 많은 코어가 투입된다는 건 Workers의 콜드 스타트가 줄어들고 동시 처리 성능이 좋아진다는 뜻이니까요. 또한 이 흐름은 "서버리스 + 엣지"가 단순한 유행이 아니라 하드웨어 투자가 뒷받침되는 장기적 방향이라는 것을 확인시켜 줘요.

인프라 설계를 하는 분들에게는, 워크로드 특성에 따라 하드웨어 구성을 과감하게 바꿀 수 있다는 Cloudflare의 접근이 참고할 만해요. "원래 이렇게 해왔으니까"가 아니라, 실제 트래픽 패턴을 분석하고 거기에 맞춰 설계를 바꾸는 데이터 기반 의사결정이 중요하다는 걸 보여주거든요.