TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 69 READS

스프링클러가 데이터센터를 삼키기 직전, 전원 코드를 뽑은 밤

스프링클러가 데이터센터를 삼키기 직전, 전원 코드를 뽑은 밤
SOURCE IMAGE · HACKER NEWS

장 스트리트(Jane Street)는 정교한 자동매매와 OCaml 기반 엔지니어링으로 유명한 트레이딩 회사다. 그러나 화려한 명성 뒤에는 사소한 설비 설계 하나가 회사를 통째로 위협했던 순간들도 있었다. 전직 시스템팀 엔지니어가 공개한 회고는 바로 그런 '현장 전투'의 기록으로, 잘못 울린 화재경보 하나가 어떻게 뉴욕 유일의 사내 데이터센터를 물바다 직전까지 몰고 갔는지를 보여준다.

발단은 설비가 아니라 위치 선택이었다. 장 스트리트는 서버실을 트레이딩 플로어 바로 건너편에 두기를 고집했다. 이유는 두 가지였다. 하나는 경쟁사나 스파이가 서버를 빼내 매매 전략을 알아내는 것을 막기 위한 지식재산 보호였고, 다른 하나는 통제를 벗어난 자동매매 시스템을 언제든 사람이 달려가 전원 코드를 뽑아 멈출 수 있어야 한다는 기술 리스크 관리였다. 글쓴이는 이 보수적 문화가 핵잠수함 복무 경력이 있는 한 파트너에게서 비롯됐다고 전한다. 잠수함에서는 자동화를 신뢰하되, 물리적으로 연결된 빨간 차단 레버가 반드시 있어야 한다는 사고방식이다.

이렇게 뉴욕 금융가 1 뉴욕 플라자 33층, 평범한 오피스 빌딩 한가운데에 UPS와 CRAC(전산실 전용 냉방기), 냉장고만 한 네트워크 스위치, 지하 디젤 발전기, 10열 10칸 규모의 서버 캐비닛이 들어찬 데이터센터가 만들어졌다. 사무실 근처에 산다는 이유로 비상 연락망의 중심에 있던 글쓴이에게 어느 저녁 홍콩 지사에서 전화가 걸려왔다. 데이터센터 화재경보가 울렸다는 것이다. 옆 준비실에서 작업하던 외주 인력이 자재를 자르다 먼지를 일으켜 연기 감지기를 건드린 것이 원인이었다.

설계가 만든 연쇄 반응

문제의 본질은 불이 아니라 스프링클러 시스템의 동작 방식에 있었다. 많은 전산실 스프링클러는 평소 배관에 물을 채워두지 않는다. 수년간 누수가 생겨 장비를 적시는 것을 막기 위해서다. 연기가 감지되면 그제야 배관에 가압수가 채워지고, 실제 분사는 각 스프링클러 헤드의 열 감응 마개가 일정 온도 이상에서 녹아 열릴 때 일어난다. 연기와 열이 모두 확인돼야 물을 뿌리는, 나름 신중한 논리다.

문제는 마지막 연결 고리였다. 연기가 감지되면 공기 순환이 불을 키울 수 있으므로, 화재경보는 CRAC 냉방기를 자동으로 꺼버리도록 배선돼 있었다. 실제 화재는 없었지만 냉방이 멈추자 서버 발열로 실내 온도가 오르기 시작했고, 배관은 이미 가압 상태였다. 온도가 섭씨 약 65도(150℉) 선을 넘으면 열 마개가 열려 서버 전체가 물벼락을 맞게 되는 상황이었다. 냉방을 끈 안전장치가 오히려 재앙의 방아쇠가 된 셈이다.

글쓴이의 임무는 단순하고도 절박했다. 온도가 임계점을 넘기 전에 서버실로 달려가 모든 장비의 전원 코드를 뽑는 것. 그는 워터 스트리트를 전력 질주해 33층까지 올라가, 사우나처럼 달아오른 서버실에서 캐비닛을 한 줄씩 돌며 양손으로 전원선을 뽑았다. 온도계는 141, 142, 143도를 지나 143.6도에서 간신히 멈췄다. 미국 주요 시장이 마감한 뒤라 실제 손실은 크지 않았고, 이튿날 아침 정상 가동됐다.

사후 대응과 실무적 교훈

이후 열린 회의는 책임 추궁이 아니라 무엇이 잘못됐는지를 차분히 따지는 자리였다는 점이 눈에 띈다. 결론은 스프링클러는 그대로 두되 절차와 감시를 강화하고, 서버는 계속 사무실 옆에 둔다는 것이었다(이 구조는 훗날 허리케인 샌디까지 이어진다). 더 중요한 교훈은 탐지 체계에 있었다. 이번 사고를 처음 알아챈 것은 홍콩 팀이 여러 서버에서 동시에 온도 상승 경고가 뜨는 것을 우연히 본 덕분이었다. 서버 한 대가 조금 뜨거워지는 일은 흔해서 개별 경보를 걸어두지 않았지만, 여러 대의 온도가 일제히 오른다면 그것은 냉방 전반의 실패를 뜻한다.

그래서 글쓴이는 매분마다 각 지역의 모든 리눅스 서버에 온보드 센서 온도를 직접 묻고 평균을 계산해, 값이 높으면 시스템팀 전원에게 경보를 보내는 모니터를 OCaml로 작성했다. CRAC 가동 여부나 전용 온도 센서로도 경보를 걸 수 있었지만, 그런 설비 텔레메트리는 신뢰도가 떨어졌다고 판단했다. 알 수 없는 변수가 언제든 발목을 잡을 수 있는 상황에서는, 서버 집단에 직접 온도를 물어 평균이 조금만 높아도 즉시 반응하는 방식이 가장 견고하다는 결론이다. 복잡한 전용 센서보다 이미 가진 장비 자체를 센서로 삼은 이 발상은, 모니터링 설계에서 '가장 믿을 수 있는 신호원이 무엇인가'를 되묻게 한다는 점에서 실무자에게도 시사하는 바가 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://michael.bacarella.com/2026/11/10/false-smoke-alarm-j...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...