OpenAI가 자사의 대규모 모노레포(monorepo) 환경에서 Git(깃)의 고질적인 확장성 문제를 해결하기 위해 새로운 저장소 백엔드 '판도(Pando)'를 구축했습니다. AI 모델 코덱스(Codex)의 도입으로 엔지니어들의 동시 작업량이 폭증하면서 기존 Git 시스템은 느린 푸시(push) 및 페치(fetch) 속도, 잦은 병합(merge) 실패 등 심각한 병목 현상을 겪었으며, 신뢰성이 90% 아래로 떨어지는 상황까지 발생했습니다. 판도는 Git 프로토콜과 개발자 작업 방식을 그대로 유지하면서도 백엔드를 재설계하여 이러한 문제들을 해결했습니다.
판도의 핵심은 '저장소 전체 시점 일관성' 대신 '인과적 일관성(causal consistency)'을 채택한 것입니다. 이는 서로 다른 브랜치(branch)의 푸시를 병렬로 처리하면서도 개별 참조(ref) 업데이트에는 직렬 가능성(serializability)을 보장합니다. 또한, 클라이언트마다 새로운 팩파일(packfile)을 생성하는 대신 기존 팩파일을 재사용하고 지역별 캐시(cache)에서 제공함으로써 읽기 처리량(read throughput)을 크게 확장했습니다. 이러한 개선을 통해 프로덕션 환경에서 푸시 지연 시간 중앙값(median latency)을 약 80% 줄였으며, 하루 약 1페타바이트(PB)에 달하는 Git 데이터를 안정적으로 제공하고 있습니다. 판도는 코덱스와 함께 단 10주 만에 프로덕션에 도입되었으며, 팩 다운로드, 검증, 관측 기능 등 Git 클라이언트 개선 사항을 오픈소스(upstream)에 기여하고 있습니다.
이번 판도 개발은 대규모 AI 개발 및 모노레포를 사용하는 기업들에게 중요한 시사점을 제공합니다. 기존 Git 시스템의 한계를 극복하고 개발 생산성을 크게 향상시킬 수 있는 구체적인 해결책을 제시했기 때문입니다. 특히, 인과적 일관성과 팩파일 재사용 전략은 Git의 분산 버전 관리 특성을 최대한 활용하면서도 중앙 집중식 시스템에 버금가는 성능을 제공하는 혁신적인 접근 방식입니다. 이는 앞으로 AI 모델 개발이 더욱 복잡해지고 엔지니어 협업이 중요해지는 환경에서 Git 기반의 코드 관리 시스템이 나아가야 할 방향을 제시하며, 오픈소스 커뮤니티에도 긍정적인 영향을 미칠 것으로 기대됩니다.