OpenAI의 온라인 스토리지 플랫폼 'Habitat'이 10억 명이 넘는 ChatGPT 사용자에게 40개 지리적 리전(region)에서 500페타바이트(PB) 이상의 데이터를 밀리초(ms) 단위로 제공하며 전 세계적인 규모로 확장했습니다. 이들은 안정성, 읽기 성능, 운영 효율성을 핵심 우선순위로 삼아 마이크로소프트(Microsoft)의 클라우드 데이터베이스 서비스인 Azure Cosmos DB를 기반으로 시스템을 지속적으로 개선해 왔습니다.
Habitat은 초기에는 워크로드(workload)별로 컨테이너(container)를 분리하는 싱글 테넌시(single-tenancy) 방식을 사용했으나, 이는 각 제품팀의 용량 계획 부담을 가중시켰습니다. 이에 OpenAI는 부하 격리 기능을 개선한 공유 멀티 테넌트(multi-tenant) 컨테이너 방식으로 전환하여 운영 효율성을 높였습니다. 또한, 대규모 계정의 리전 장애 조치(failover) 과정에서 심각한 문제를 겪은 후, Azure와 공동 관리 체계를 구축하여 프로덕션(production) 규모 테스트와 전 계층 공동 모니터링(monitoring)을 수행하고 있습니다. 데이터 배치, 선택적 복제(replication), 변경 데이터 캡처(CDC) 기반 통합 캐시(cache), 그리고 핵심 로직을 Rust로 재작성하는 등의 노력을 통해 전 세계 읽기 지연 시간(p50)을 약 120ms에서 10ms로 획기적으로 단축했습니다.
이러한 스토리지 확장 및 최적화 노력은 OpenAI가 ChatGPT와 같은 대규모 인공지능(AI) 서비스를 전 세계 사용자에게 안정적이고 빠르게 제공하는 데 필수적입니다. 특히, 멀티 테넌시 구현과 클라우드 공급자와의 공동 엔지니어링(co-engineering)은 초거대 서비스 운영의 모범 사례를 제시합니다. 다음 10억 명의 사용자를 지원하기 위해 엑사바이트(EB) 규모의 맞춤형 스토리지 개발을 진행 중이며, 이는 AI 서비스의 미래 확장성에 중요한 기반이 될 것입니다. 궁극적으로 사용자들은 더 빠르고 끊김 없는 AI 경험을 누릴 수 있게 됩니다.