글로벌 CDN 및 보안 기업 클라우드플레어(Cloudflare)가 자사의 로드밸런싱 서비스 '핑고라 백엔드 라우터(PBR)'에서 일관된 해싱(Consistent Hashing) 알고리즘을 개선하여 무려 100테라바이트(TB) 이상의 램(RAM)을 절약하는 데 성공했다고 발표했습니다. 이는 지난달 DNS 팀이 절약한 100TB 램에 더해 추가된 성과로, 방대한 규모의 인프라를 운영하는 기업에서는 사소한 최적화도 막대한 자원 절감으로 이어진다는 것을 다시 한번 입증했습니다.
이번 최적화는 클라우드플레어의 오픈소스 라이브러리인 '핑고라-케타마(pingora-ketama)'의 과도한 메모리 사용량 문제를 해결하는 과정에서 이루어졌습니다. 핑고라-케타마는 서버 추가 또는 제거 시에도 태스크 분배의 큰 변화 없이 안정적으로 요청을 여러 서버에 분산하는 일관된 해싱을 구현하는 데 사용됩니다. 클라우드플레어는 이를 통해 데이터센터당 파일 복사본을 하나만 유지하고, 캐시 가능한 요청을 URL 기반으로 서버에 라우팅하여 파일 위치를 안정적으로 찾는 데 활용하고 있습니다. 기존 일관된 해싱 방식은 해시 값 분포의 불균형으로 인해 특정 서버에 부하가 집중될 수 있었는데, 클라우드플레어는 수학적 분석을 통해 이 불균형을 줄이는 방식으로 메모리 효율을 극대화했습니다.
이러한 대규모 시스템 최적화는 단순히 비용 절감을 넘어, 한정된 자원을 더욱 효율적으로 활용하여 서비스 안정성과 확장성을 높이는 데 기여합니다. 특히 클라우드플레어와 같이 전 세계 수천 대의 서버와 페타바이트(PB) 규모의 램을 운영하는 기업에게는 1%의 개선도 엄청난 파급 효과를 가져옵니다. 이번 사례는 대규모 분산 시스템을 설계하고 운영하는 엔지니어들에게 일관된 해싱 알고리즘의 중요성과 최적화 가능성을 다시 한번 상기시키며, 오픈소스 프로젝트를 통해 얻은 개선 사항을 공유함으로써 기술 커뮤니티 전반에 긍정적인 영향을 미칠 것으로 기대됩니다.