Hacker News 2026.06.05 88

CERN이 만든 거대 저장 시스템 CASTOR — 입자가속기 데이터는 어떻게 보관할까

무슨 이야기냐면요

스위스에 있는 CERN, 그러니까 거대한 입자가속기로 우주의 비밀을 캐내는 그 유럽입자물리연구소가 만든 저장 관리 시스템 CASTOR(CERN Advanced STORage Manager)에 대한 이야기예요.

CERN 하면 보통 '힉스 입자 발견'이나 'LHC(거대강입자가속기)'를 떠올리지만, 사실 이곳은 인류 최대급의 데이터 공장이기도 해요. 양성자를 광속에 가깝게 충돌시키면 1초에 어마어마한 양의 측정 데이터가 쏟아지거든요. 연간 수십, 수백 페타바이트(1페타바이트 = 100만 기가바이트예요)에 달하는 데이터를 어딘가에 안전하게, 그리고 나중에 다시 꺼내볼 수 있게 보관해야 하는데, 일반적인 하드디스크 서버로는 감당이 안 돼요. 그래서 등장한 게 CASTOR예요.

어떻게 동작하나

CASTOR의 핵심은 계층형 저장(hierarchical storage)이에요. 이게 뭐냐면, 데이터를 성격에 따라 서로 다른 저장 장치에 나눠 담는 거예요.

자주 쓰는 따끈한 데이터는 빠른 디스크에 두고, 한동안 안 볼 차가운 데이터는 자기 테이프(tape)로 내려보내요. 네, 카세트테이프 할 때 그 테이프 맞아요. '아니 요즘 세상에 테이프?' 싶겠지만, 테이프는 지금도 대용량 장기보관의 왕이에요. 디스크보다 훨씬 싸고, 전원 없이도 데이터가 오래 버티고, 한 번 기록하면 잘 안 망가지거든요. 단점은 느리다는 건데, 자주 안 볼 데이터엔 딱이죠.

CASTOR는 이 디스크와 테이프 사이를 자동으로 오가게 해줘요. 사용자는 그냥 '이 파일 줘'라고 요청하면 되고, 그게 디스크에 있든 테이프 라이브러리(로봇팔이 테이프를 꽂았다 뺐다 하는 거대한 장치) 깊숙이 있든 시스템이 알아서 찾아와요. 사용자 입장에선 마치 하나의 거대한 파일 시스템처럼 보이는 거예요. 이렇게 복잡한 내부를 숨기고 단순한 인터페이스만 보여주는 걸 추상화라고 하는데, 좋은 시스템 설계의 핵심이에요.

업계 맥락에서

CASTOR는 사실 오래된 시스템이에요. 그래서 CERN은 이미 후속 시스템인 EOS나 CTA(CERN Tape Archive) 같은 걸로 많은 워크로드를 옮겼어요. 그럼에도 CASTOR가 의미 있는 건, '대규모 과학 데이터를 어떻게 관리할 것인가'라는 문제를 수십 년간 정면으로 풀어온 산증인이기 때문이에요.

요즘 클라우드 업체들이 말하는 '콜드 스토리지'(AWS Glacier 같은 거요)도 결국 같은 발상이에요. 자주 안 쓰는 데이터는 싸고 느린 곳에 모셔두고, 꺼낼 때 살짝 시간을 감수한다는 거죠. CERN은 클라우드라는 말이 흔해지기 한참 전부터 이걸 자체적으로 구축해 운영해온 셈이에요.

한국 개발자에게는

우리가 직접 테이프 라이브러리를 다룰 일은 거의 없겠죠. 하지만 데이터의 온도(hot/warm/cold)에 따라 저장 전략을 나눈다는 발상은 실무에서 진짜 유용해요. 모든 데이터를 비싼 SSD에 다 올려두면 비용이 폭발하거든요. 자주 조회되는 데이터는 빠른 저장소에, 로그나 오래된 백업처럼 가끔 보는 데이터는 저렴한 아카이브 계층으로 내리는 식의 설계는 클라우드 비용을 크게 줄여줘요. CASTOR가 수십 년 전부터 해온 고민이, 지금 우리가 클라우드 비용 청구서를 보며 하는 고민과 본질적으로 똑같다는 게 재밌는 지점이에요.