Hacker News 2026.04.08 22

프로덕션 서버 디스크가 꽉 찼을 때 벌어지는 일 — 런칭 당일 장애 복구 실화

런칭 당일, 서버가 멈췄다

서비스를 열심히 준비해서 드디어 런칭했는데, 바로 그날 서버가 먹통이 되면 어떨까요? 상상만 해도 식은땀이 나는 상황이죠. 이 글은 실제로 프로덕션 서버의 디스크 공간이 바닥나면서 서비스 장애를 경험한 개발자의 생생한 복구기예요.

사실 디스크 용량 부족은 생각보다 정말 흔한 장애 원인이에요. CPU나 메모리 문제는 모니터링을 잘 걸어두는 경우가 많은데, 디스크 용량은 의외로 사각지대에 놓이는 경우가 많거든요. 특히 런칭 직후처럼 트래픽이 갑자기 몰리는 시점에는 로그 파일이 폭발적으로 늘어나면서 순식간에 디스크를 채워버리기도 해요.

무슨 일이 있었나

이 개발자의 경우, 서비스 런칭과 함께 사용자가 몰리면서 애플리케이션 로그와 데이터베이스 관련 파일들이 빠르게 디스크를 잡아먹었어요. 문제는 디스크가 100% 차면 단순히 "파일 저장이 안 되는" 수준이 아니라는 거예요. 데이터베이스 쓰기가 실패하고, 로그 기록이 안 되니 디버깅도 어렵고, 심지어 SSH 접속조차 불안정해질 수 있어요. 시스템이 임시 파일을 만들 공간조차 없으니까요.

이게 뭐냐면, 리눅스 시스템에서는 거의 모든 작업이 파일 시스템을 사용해요. 로그를 쓰는 것, 데이터베이스가 데이터를 저장하는 것, 심지어 프로세스 간 통신을 위한 소켓 파일까지. 그래서 디스크가 꽉 차면 마치 도미노처럼 여러 시스템이 동시에 무너지는 거예요.

복구 과정에서 이 개발자는 먼저 du -sh 명령어로 어떤 디렉토리가 공간을 가장 많이 차지하는지 확인했어요. 범인은 대부분 로그 파일이었죠. 오래된 로그를 삭제하고, 더 이상 필요 없는 임시 파일들을 정리해서 긴급하게 공간을 확보한 뒤, 서비스를 복구할 수 있었어요.

디스크 용량 관리, 이렇게 해야 안전하다

이런 사고를 예방하려면 몇 가지 기본적인 조치가 필요해요. 첫 번째는 로그 로테이션(log rotation) 설정이에요. 이건 로그 파일이 일정 크기나 기간을 넘으면 자동으로 오래된 로그를 압축하거나 삭제해주는 기능인데요, 리눅스에서는 logrotate라는 도구가 기본으로 제공돼요. 설정 한번 해두면 로그가 무한정 커지는 걸 막을 수 있어요.

두 번째는 디스크 사용량 모니터링 알림이에요. 80%를 넘으면 경고, 90%를 넘으면 긴급 알림을 보내도록 설정해두는 거죠. Prometheus + Grafana 조합이나, 클라우드를 쓴다면 AWS CloudWatch, GCP Monitoring 같은 도구로 쉽게 설정할 수 있어요.

세 번째는 임시 파일 정리 자동화예요. /tmp 디렉토리나 애플리케이션이 만드는 캐시 파일들이 쌓이는 경우가 많은데, cron job으로 주기적으로 정리해주는 게 좋아요.

비슷한 사례와 업계 관행

사실 디스크 풀 장애는 대형 서비스에서도 빈번하게 발생해요. GitLab이 2017년에 데이터베이스 관련 대형 장애를 겪었을 때도 디스크 공간 문제가 복합적으로 얽혀 있었고, 많은 스타트업들이 초기에 모니터링 없이 서버를 운영하다가 비슷한 경험을 해요.

최근에는 컨테이너 환경(Docker, Kubernetes)에서도 이 문제가 자주 나타나요. 컨테이너 이미지가 쌓이고, 사용하지 않는 볼륨이 남아있고, 컨테이너 로그가 관리되지 않으면 노드의 디스크가 차면서 Pod가 스케줄링되지 않는 문제가 생기거든요. Kubernetes에서는 kubelet이 디스크 압박(disk pressure)을 감지하면 자동으로 Pod를 축출(evict)하기도 하는데, 이걸 모르면 "왜 갑자기 Pod가 죽지?"하고 한참 헤맬 수 있어요.

한국 개발자에게 주는 시사점

국내 스타트업에서 특히 주의할 부분이에요. 초기에는 비용을 아끼려고 작은 인스턴스로 시작하는 경우가 많은데, 디스크 크기도 함께 작게 잡는 경우가 많거든요. AWS의 t3.micro 같은 인스턴스를 쓸 때 EBS 볼륨을 8GB 기본값으로 두면, 며칠 지나지 않아 디스크가 찰 수 있어요.

당장 실무에서 확인해볼 것들이 있어요. df -h 명령어로 현재 디스크 사용률을 확인해보세요. 80%가 넘는 파티션이 있다면 지금 바로 정리하거나 볼륨을 늘려야 해요. du -sh /var/log/*로 로그 파일 크기도 확인해보시고요. 로그 로테이션 설정이 제대로 되어있는지, 모니터링 알림은 걸어놨는지 점검해보면 좋겠어요.