클라우드플레어(Cloudflare)가 개발자 플랫폼의 새로운 핵심 서비스인 'K2'의 공개 베타를 발표했습니다. K2는 서버리스 이벤트 스트림으로, 데이터 생산자와 소비자를 분리하여 이벤트를 내구성 있는 순서형 로그에 저장하는 것이 특징입니다. 이를 통해 다양한 소비자가 각자의 속도로 데이터를 처리할 수 있게 되어, 전통적인 메시징 시스템의 한계를 극복하고 대규모 분산 시스템 구축을 단순화할 수 있습니다.
K2는 클라우드플레어의 객체 스토리지 서비스인 R2 위에 구축되었습니다. R2의 높은 내구성(11 나인)과 강한 일관성 API를 활용하여 복제와 합의(consensus) 같은 복잡한 분산 시스템 문제를 스토리지 계층에 맡겼습니다. 이는 K2 애플리케이션 계층을 단순화하고 비용 및 성능을 개선하는 핵심 요소입니다. 컴퓨팅과 스토리지를 독립적으로 확장할 수 있어 방대한 과거 데이터를 저비용으로 보관할 수 있으며, 특히 클라우드플레어의 전 세계 335개 이상의 엣지(Edge) 환경에서 기존 분산 시스템 소프트웨어(예: Apache Kafka)를 운영하기 어려운 문제를 해결하기 위해 설계되었습니다. 초기 버전의 생산 요청 지연은 99백분위에서 약 1초 수준이지만, 향후 개선될 예정입니다.
K2는 대규모 데이터 이동, 장기 보관, 그리고 여러 소비자로의 효율적인 데이터 배포에 중점을 둡니다. 이는 전자상거래 거래 완료 이벤트를 분석 시스템과 부정 거래 탐지 서비스가 각각 독립적으로 처리하는 시나리오처럼, 여러 독립적인 소비자가 필요한 경우에 특히 유용합니다. 개별 메시지 단위 재시도는 지원하지 않지만, 배치(batch) 기반 처리로 대규모 데이터를 효율적으로 다룹니다. 현재 Workers Paid 구독 계정에서 베타 기간 동안 무료로 사용할 수 있으며, 저장 공간 10GB, 스트림당 생산 처리량 30MB/s로 제한됩니다.
이러한 서버리스 이벤트 스트림의 등장은 분산 시스템 아키텍처에 중요한 변화를 가져올 것으로 보입니다. 객체 스토리지를 핵심 데이터 기반으로 활용하는 추세가 가속화되면서, 카프카(Kafka)와 같은 기존의 복잡한 분산 메시징 시스템을 대체하거나 보완하는 솔루션들이 등장하고 있습니다. K2는 클라우드플레어의 엣지 네트워크와 R2 스토리지를 활용하여 이러한 흐름에 동참하며, 개발자들이 더 쉽고 저렴하게 고가용성 및 확장성을 갖춘 이벤트 기반 애플리케이션을 구축할 수 있도록 지원합니다. 특히, 클라우드플레어는 R2 팀과 긴밀히 협력하여 제품을 발전시키고 있으며, 향후 카프카 클라이언트 호환 지원도 계획하고 있어 기존 카프카 사용자들에게도 매력적인 대안이 될 수 있습니다.