최근 인공지능(AI) 기술이 발전하면서 시스템 장애 대응(incident response) 분야에서도 AI의 역할이 커지고 있습니다. AI 기반 도구들은 경고(alert)를 검사하고, 가설을 세우며, 원격 측정(telemetry) 데이터를 조회하고, 최근 배포(deployment)와의 상관관계를 분석하며, 심지어 직접 문제 해결(fix)까지 수행합니다. 이는 야간에 발생하는 사소한 용량 문제 등으로 엔지니어가 깨어나지 않아도 되는 편리함을 제공하지만, 동시에 엔지니어들이 시스템에 대한 깊은 이해를 잃을 수 있다는 중대한 우려를 낳고 있습니다.
이러한 AI 기반 장애 대응 도구, 이른바 'AI SRE'는 루틴한 장애를 효과적으로 처리합니다. 하지만 문제는 루틴한 장애 대응 과정이야말로 엔지니어들이 시스템의 작동 방식과 실패 지점에 대한 직관을 안전하게 개발하는 기회라는 점입니다. AI가 해결할 수 없는 복잡하고 전례 없는 장애가 발생했을 때, 충분한 실전 경험이 없는 엔지니어들은 문제 해결에 어려움을 겪을 수 있습니다. 이는 인간-요인 연구자 리산 베인브리지(Lisanne Bainbridge)가 1983년 논문 '자동화의 아이러니(The Ironies of Automation)'에서 설명한 역설과 일치합니다. 자동화는 일상적인 업무 연습 기회를 줄이면서도, 새롭고 비정상적인 상황에 대한 책임은 인간에게 남겨두기 때문에, 오히려 인간 운영자는 더 숙련되고 더 많은 훈련을 받아야 한다고 그녀는 주장했습니다.
이러한 현상은 항공 산업에서 교훈을 얻을 수 있습니다. 비행 자동화 시스템이 비행의 대부분을 처리하지만, 조종사들은 엔진 고장, 계기판 오작동, 이륙 중단 등 자동화가 처리할 수 없는 드문 비상 상황에 대비하여 꾸준히 훈련받습니다. 현대 항공기 엔진 고장은 10만 비행시간당 1회 미만으로 매우 드물지만, 조종사들은 시뮬레이터를 통해 이러한 상황에 대한 반복적인 훈련을 받습니다. 소프트웨어 산업에서도 이와 유사하게 '장애 시뮬레이터(incident simulator)'가 필요하다는 목소리가 커지고 있습니다. 실제로 Rootly와 Uptime Labs는 협력하여 LLM 기반 이해관계자들과 소통하며 관측 도구를 사용하는 전자상거래 서비스 중단 시뮬레이션을 제공하여, 엔지니어들이 불완전한 정보 속에서 의사소통하고 사람들을 조율하며 실제 대응을 이끄는 기술을 연습할 수 있도록 돕고 있습니다.
AI는 단순히 장애를 해결하는 것을 넘어, 훈련 도구로서도 활용될 수 있습니다. 엔지니어는 AI 에이전트에게 문제 해결 과정, 검토한 신호, 진단 근거 등을 질문하여 학습할 수 있습니다. 하지만 이는 관찰일 뿐, 실제 연습을 대체할 수는 없습니다. 세레나 윌리엄스의 경기를 보는 것만으로는 테니스를 배울 수 없듯이, 장애 대응 역시 직접 현장에서 경험해야만 진정한 기술을 습득할 수 있습니다. 따라서 LLM 시대에는 엔지니어들이 시스템에 대한 이해 격차(comprehension debt)를 줄이고, 압박 속에서 일하는 연습을 하며, SEV0(최고 심각도) 장애 시 필요한 조율과 의사소통을 반복적으로 훈련하는 것이 더욱 중요해졌습니다. 탁상 훈련(tabletop exercise)이나 카오스 엔지니어링(chaos engineering)과 같은 기존 방법론에 더해, 실제와 같은 시뮬레이션을 통한 실습이 엔지니어의 숙련도 저하를 막는 핵심 열쇠가 될 것입니다.