최근 AI 에이전트와 마이크로컨트롤러(MCP) 서버의 안정성 확보가 중요해지면서, 장애 상황을 미리 예측하고 대비하는 카오스 엔지니어링(Chaos Engineering)의 필요성이 커지고 있습니다. 이러한 배경 속에서 'ResiliReplay'라는 새로운 오픈소스 툴킷이 공개되어 주목받고 있습니다. 이 툴킷은 AI 에이전트와 MCP 서버에 의도적으로 장애를 주입하고, 그 과정을 결정론적으로 재현하여 시스템의 복구 능력을 평가하며, 발생한 실패 사례를 회귀 테스트(regression test)로 자동 전환해줍니다.
ResiliReplay는 모델에 구애받지 않는(model-agnostic) 로컬 우선(local-first) 타입스크립트(TypeScript) 툴킷으로, 버전 관리되는 이벤트 기록, 시드(seed) 기반의 오류 주입, 선언된 증거를 통한 복구 점수 측정, 그리고 첫 번째 원인 실패를 편집 가능한 시나리오와 실행 가능한 노드(Node) 테스트로 컴파일하는 기능을 제공합니다. 특히 API 키, 유료 모델, 도커(Docker), 외부 계정, 원격 측정(telemetry), 또는 LLM(대규모 언어 모델) 심판 없이도 결정론적 경로를 테스트할 수 있어 개발 편의성이 높습니다. 지연 시간, 타임아웃, 잘못된 JSON 형식, 중복 응답 등 다양한 유형의 장애를 주입할 수 있으며, 복구 보고서, JSON, HTML, JUnit 등 여러 형식의 보고서를 생성하여 시스템의 견고성을 시각적으로 확인할 수 있습니다.
이러한 ResiliReplay의 등장은 AI 에이전트 및 분산 시스템 개발자들에게 매우 유용한 도구가 될 것으로 보입니다. 시스템이 예측 불가능한 상황에서도 얼마나 안정적으로 작동하는지 사전에 검증함으로써, 서비스 중단 위험을 줄이고 사용자 신뢰도를 높일 수 있습니다. 또한, 실패 사례를 자동으로 테스트 코드로 변환하는 기능은 개발 과정에서 반복적인 버그를 방지하고, 지속적인 통합/배포(CI/CD) 파이프라인에 쉽게 통합하여 개발 효율성을 크게 향상시킬 수 있습니다. 이는 단순히 버그를 찾는 것을 넘어, 장애 발생 시 시스템이 어떻게 반응하고 복구하는지에 대한 깊이 있는 이해를 제공하여 더욱 견고한 아키텍처 설계에 기여할 것입니다.