최근 OpenAI의 ChatGPT, Anthropic의 Claude, xAI의 Grok 등 주요 인공지능(AI) 서비스들이 비슷한 시기에 접속 장애를 겪으며 사용자들에게 혼란을 주었습니다. 초기에는 클라우드플레어(Cloudflare)나 주요 클라우드 사업자(AWS, Azure, Google Cloud)의 기반 인프라 문제 가능성이 제기되었으나, 클라우드플레어 CTO는 자사 문제가 아니라고 밝혔습니다. 이 동시 장애의 원인을 두고 다양한 추측이 오가는 가운데, 가장 설득력 있는 가설은 '연쇄 과부하(cascading overload)'입니다.
해커뉴스(Hacker News)의 토론에 따르면, OpenAI 서비스가 먼저 중단되자 많은 사용자가 대안으로 Claude로 몰려들었고, 이로 인해 Claude마저 과부하로 멈추면서 다른 서비스로 트래픽이 이동하는 연쇄 반응이 일어났을 수 있다는 분석입니다. 사용자들은 AI 서비스를 상호 대체 가능한 것으로 인식하고 있어, 한 곳이 멈추면 다른 곳으로 이동하는 경향이 강합니다. Downdetector와 같은 서비스 장애 감지 사이트에서 OpenAI 장애 신고가 급증하는 시점에 AWS, Azure, Google Cloud 등 다른 서비스의 검색량도 함께 늘어난 것이 이러한 현상을 뒷받침합니다. 특히 Claude의 경우 '예상치 못한 용량 제약(unexpected capacity constraints)'으로 인한 오류 메시지가 확인되기도 했습니다.
이러한 현상은 AI 서비스 인프라의 취약성과 함께, 사용자들이 특정 서비스에 묶이지 않고 대안을 찾아 이동하는 '디지털 난민' 현상이 심화되고 있음을 시사합니다. 이는 AI 서비스 제공자들이 단순히 모델 성능 경쟁을 넘어, 안정적인 서비스 운영과 견고한 인프라 구축에 더욱 집중해야 함을 보여줍니다. 또한, 여러 AI 서비스를 연동하여 사용하는 애플리케이션의 경우, 한 모델의 장애가 전체 시스템에 미치는 영향을 최소화하기 위한 지수 백오프(exponential backoff)와 같은 재시도 전략 및 무작위 로드 밸런싱(randomized load balancing) 등 더욱 정교한 장애 조치(failover) 메커니즘이 필요하다는 점을 일깨워줍니다.