새로운 오픈소스 프로젝트 '블레이즈룰즈(BlazeRules)'가 실시간 데이터 처리 시장에 등장했습니다. 이 규칙 엔진은 YAML 형식으로 정의된 규칙을 스트리밍 데이터에 적용하여, 초당 최대 500만 건의 레코드를 처리하는 놀라운 성능을 자랑합니다. 이는 기존의 로그 파서 개발에서 시작되어 임베딩 가능한 의사 결정 엔진으로 발전한 결과입니다.
블레이즈룰즈는 들어오는 데이터를 먼저 컬럼형(columnar format)으로 재구성한 뒤, 벡터화된(vectorized format) 방식으로 규칙을 실행합니다. 이 최적화된 처리 방식 덕분에 페이로드 크기와 규칙 복잡성에 따라 초당 20만 건에서 수백만 건의 레코드를 처리하며, 이는 초당 200MiB에서 3GiB에 달하는 처리량입니다. 또한, SQL 표현식이나 ONNX 모델(수치 연산), 윈도우 연산 등 다양한 규칙 정의를 지원하여 유연성을 높였습니다. 이는 스트리밍 데이터 및 즉석 의사 결정에 특화된 '덕디비(DuckDB)'와 유사한 접근 방식을 취합니다.
이러한 고성능 규칙 엔진의 등장은 실시간 데이터 분석 및 자동화된 의사 결정 시스템 분야에 큰 영향을 미 미칠 것으로 예상됩니다. 금융 거래 사기 탐지, IoT 센서 데이터 분석, 실시간 광고 입찰 등 즉각적인 판단이 필요한 다양한 산업에서 블레이즈룰즈를 활용하여 시스템의 반응성과 효율성을 극대화할 수 있을 것입니다. 특히, C++ 기반으로 임베딩이 용이하다는 점은 경량 시스템이나 엣지 컴퓨팅 환경에서도 강력한 규칙 처리 능력을 제공할 수 있음을 의미합니다.