AI가 장애를 처리할수록 엔지니어는 시스템을 잃는다

AI 기반 장애 대응 도구가 빠르게 현실이 되고 있다. 알림을 살피고 가설을 세우며 텔레메트리를 조회하고 최근 배포와 상관관계를 분석한 뒤, 스스로 수정까지 적용한다. 야간에 발생한 용량 문제를 사람이 깨지 않고도 해결해 준다는 점에서 이 도구들은 분명 매력적이다. 흔히 'AI SRE'라 불리는 이 흐름은 반복적이고 정형화된 장애 처리에서 이미 상당한 성과를 보여 주고 있다. 그러나 이런 편의의 이면에는 간과하기 쉬운 대가가 있다. 엔지니어가 자신이 운영하는 시스템과 점점 멀어진다는 점이다.

자동화의 역설

루틴 장애는 단순한 잡무가 아니라, 담당자가 시스템이 어떻게 동작하고 어떻게 무너지는지에 대한 직관을 '안전하게' 쌓는 훈련장이다. 자동화가 이 반복 작업을 대신 처리하면 사람은 연습 기회를 잃는다. 문제는 자동화가 풀지 못하는 모호하고 심각한 장애가 닥쳤을 때 벌어진다. 이때 사람이 개입해야 하지만, 예전보다 손에 익은 감각이 부족한 상태에서 현장에 투입된다.

이는 새로운 통찰이 아니다. 인간공학 연구자 리산 베인브리지는 1983년 논문 '자동화의 역설(The Ironies of Automation)'에서 같은 딜레마를 설명했다. 자동화는 운영자가 일상 업무를 연습할 기회를 줄이면서도, 정작 새롭고 비정상적인 상황에 대한 책임은 그대로 사람에게 남긴다. 그래서 자동화 이후의 운영자는 이전보다 더 숙련되어야 하고 더 많은 훈련을 받아야 한다는 것이 그의 결론이었다.

실무적으로 예측할 수 있는 결과는 이중적이다. 대부분 장애의 평균 복구 시간(MTTR)은 AI 덕분에 낮아지겠지만, 복잡한 장애의 해결 시간은 오히려 치솟을 수 있다. 담당자가 시스템 감각을 잃어 조사 자체에 애를 먹기 때문이다. 지표상으로는 개선처럼 보이는 평균값이 정작 가장 위험한 순간의 대응력 저하를 가릴 수 있다는 뜻이다.

항공 산업이 주는 힌트

항공 산업은 참고할 만한 사례를 제공한다. 자동화가 비행의 상당 부분을 담당하지만, 엔진 고장이나 계기 오류, 이륙 중단, 실속처럼 자동화가 감당하지 못하는 상황의 책임은 여전히 조종사에게 있다. 이런 사건은 극히 드물다. 현대 터빈 엔진은 비행 10만 시간당 공중 정지가 한 건도 채 되지 않아, 조종사가 시뮬레이터 밖에서 한 번도 겪지 않고 경력을 마칠 수도 있다. 그러나 막상 발생하면 빠르고 정확하게 반응해야 한다. 트랜스아시아항공 235편에서는 이륙 직후 오른쪽 엔진 프로펠러가 오토페더 상태가 됐지만 승무원이 문제를 잘못 판단했고, 항공기는 첫 경고로부터 단 117초 만에 실속해 추락했다.

그래서 항공사는 정기적으로 조종사를 시뮬레이터로 돌려보내 드문 비상 상황을 반복 연습시킨다. 미국 FAA 규정상 기장은 6개월마다 이륙 중 엔진 고장 같은 시나리오를 포함한 정기 훈련이나 자격 점검을 받아야 한다. 대부분의 소프트웨어 장애는 생명을 위협하지 않지만, 그렇다고 기량 연마를 소홀히 할 이유는 되지 않는다.

관찰이 아니라 연습이다

흥미롭게도 문제를 만든 기술이 해법을 닫는 데도 쓰일 수 있다. 필자가 일하는 Rootly는 Uptime Labs와 협력해 현실적인 장애 시뮬레이션을 적용했다. 엔지니어는 가상의 전자상거래 장애에서 인시던트 커맨더 자리에 앉아 관측 도구를 다루면서, 슬랙에서 LLM으로 구현된 이해관계자들과 소통한다. 불완전한 정보를 해석하고, 명확하게 소통하며, 사람을 조율하고, 실제로 대응을 운영하는 능력을 연습하게 된다. AI를 훈련 조교로 쓰는 방법도 있다. 에이전트에게 어떤 단계를 밟았고 어떤 신호를 살폈으며 진단의 근거가 무엇이었는지 설명을 요청할 수 있다.

다만 설명과 관찰은 연습의 대체재가 아니다. 세리나 윌리엄스의 경기를 보며 몇 가지를 배울 수는 있어도, 테니스는 코트에 직접 서야 배운다. 장애 대응도 마찬가지다. LLM이 우리 일을 더 많이 대신할수록, 조직에는 '이해 부채(comprehension debt)', 즉 시스템의 실제 동작 방식과 담당자의 이해 사이 격차가 쌓일 위험이 있다. 결국 엔지니어는 자신이 지키는 시스템과 정기적으로 직접 부딪치고, 낯선 장애를 다뤄 보며, 압박 속에서 일하고, SEV0 상황의 조율과 소통을 리허설해야 한다. 테이블톱 훈련과 카오스 엔지니어링은 새로운 개념이 아니지만, LLM 시대에 그 중요성은 오히려 커졌다. 자동화가 성공할수록 사람은 그것이 실패하는 순간에 덜 준비된다는 역설을, 실무 조직은 훈련 설계로 정면 돌파해야 한다.