OpenAI의 핵심 온라인 스토리지 플랫폼인 'Habitat'이 매주 10억 명 이상의 ChatGPT 사용자를 지원하며 초당 7천만 건 이상의 요청을 처리하고, 500페타바이트(PB) 이상의 데이터를 제공하고 있습니다. 이는 OpenAI 제품의 로그인, 설정 조회, 대화 시작 등 모든 핵심 기능에 필수적인 요소로, 데이터 접근 속도와 안정성이 서비스 품질을 좌우합니다. Habitat은 지난 3년간 매년 10배 이상 성장하며 급증하는 트래픽에 대응하기 위해 아키텍처를 지속적으로 발전시켜 왔습니다.
Habitat은 2023년 DevDay에서 GPTs 지원을 위한 작은 Python 클라이언트 라이브러리로 시작했습니다. 하지만 서비스가 확장되면서 여러 제품에 분산된 라이브러리 업데이트 조율의 어려움과 장애 위험이 커졌습니다. 이에 OpenAI는 라이브러리를 독립 서비스로 전환하여 배포, 관측성, 접근 제어를 중앙에서 관리하고 업데이트 조율로 인한 문제를 해결했습니다. 또한, Python의 비효율성을 극복하기 위해 asyncio 스케줄링 지연, 연결 풀의 부하 편중, 하위 시스템 연결 폭증 등의 문제를 해결하며 처리량과 안정성을 확보했습니다. 특히, 복잡한 분석 및 검색 쿼리는 별도의 Rockset 인스턴스로 분리하여 온라인 스토리지의 예측 가능한 성능을 유지했습니다. 최근에는 두 명의 엔지니어가 Codex와 GPT-5.5를 활용해 전체 서비스를 Rust로 재작성했으며, 현재 프로덕션 요청의 95%를 처리하며 Python 대비 CPU 효율 6배, 메모리 효율 15배를 달성했습니다.
OpenAI의 Habitat 확장 사례는 급성장하는 AI 서비스가 직면하는 대규모 데이터 처리 및 안정성 문제에 대한 실질적인 해결책을 제시합니다. 특히, 초기에는 개발 속도를 위해 Python을 선택하고 전략적 기술 부채를 감수했지만, 이후 서비스 규모가 커지면서 Rust로의 전환을 통해 근본적인 성능 개선을 이뤄낸 점은 주목할 만합니다. 이는 스타트업이나 1인 개발자가 서비스를 구축할 때, 초기 빠른 개발과 장기적인 확장성 사이의 균형을 어떻게 가져가야 할지에 대한 중요한 교훈을 제공합니다. 또한, 복잡한 쿼리를 분리하여 핵심 서비스의 안정성을 확보하는 접근 방식은 다양한 데이터 기반 서비스에 적용될 수 있는 효과적인 전략입니다.