인프라 장애 대응 훈련 도구인 '리플레이북(Replaybook)'이 최근 인프라 에이전트 평가 프레임워크로 활용되기 시작했습니다. 이 도구는 실제 발생했던 장애 상황을 도커(Docker) 환경으로 재현하여 엔지니어들이 실전처럼 문제를 진단하고 해결하는 훈련을 할 수 있도록 돕습니다. 이제는 이러한 시나리오를 AI 에이전트의 성능을 평가하는 데도 적용하여, AI가 실제 운영 시스템에서 얼마나 효과적으로 문제를 해결할 수 있는지 측정하는 새로운 방법을 제시하고 있습니다.
리플레이북은 각 시나리오를 장애가 주입된 도커 환경으로 구성하며, 훈련자는 점프 호스트(jumphost) 역할을 하는 워크스테이션 컨테이너에 접속하여 실제 서비스 내부의 문제점을 진단하고 복구합니다. 터미널은 셸(shell)과 인시던트 페이지, SLA 카운트다운, 힌트 등을 보여주는 HUD(Head-Up Display)로 분할되어 몰입감을 높입니다. 특히, 단순히 장애를 해결하는 것을 넘어, 복구된 서비스가 재시작된 후에도 정상 상태를 유지하는지 검증하는 '히든 검증기(hidden verifier)'를 통해 AI 에이전트의 '지속적인 운영 추론(durable operational reasoning)' 능력을 평가합니다. 이는 AI가 임시방편적인 해결책이 아닌, 근본적인 문제를 해결했는지 판단하는 중요한 기준이 됩니다. 평가 스택은 리플레이북의 장애 시나리오, 하버(Harbor)의 에이전트 실행 및 기록, 닉스(Nix)의 격리된 재현 가능한 워커, 클록스(Claux)의 경량 에이전트 어댑터 등으로 구성되어 진단, 복구, 지속성, 비용 등을 종합적으로 비교할 수 있습니다.
이러한 접근 방식은 AI 기반 인프라 관리 에이전트의 신뢰성을 높이는 데 크게 기여할 것으로 보입니다. 기존에는 AI 에이전트가 그럴듯한 코드 패치나 해결책을 제시하는지에 초점을 맞췄다면, 리플레이북은 실제 시스템 환경에서 AI가 문제를 얼마나 효과적으로 진단하고, 복구하며, 그 해결책이 재시작 후에도 지속되는지를 검증합니다. 이는 AI 에이전트 개발자들이 실제 운영 환경에 더 적합한 모델을 만들도록 유도하고, 기업들이 AI 기반 솔루션을 도입할 때 발생할 수 있는 잠재적 위험을 줄이는 데 도움을 줄 것입니다. 또한, 엔지니어들에게는 실제 장애를 기반으로 한 훈련을 통해 실전 역량을 강화하는 효과적인 학습 도구로 계속 활용될 것입니다.