블레이즈룰즈(BlazeRules)가 YAML 기반 규칙을 사용해 JSON, 카프카(Kafka), 애로우(Arrow)와 같은 다양한 이벤트 데이터를 초고속으로 처리하는 임베더블(embeddable) 의사결정 엔진을 선보였습니다. 본래 서브 밀리초(sub-millisecond) 단위의 로그 파서(log parser)로 기획되었으나, 이제는 들어오는 데이터에 대해 YAML로 정의된 규칙을 실행할 수 있는 강력한 시스템으로 발전했습니다.
이 엔진의 핵심은 데이터를 컬럼형(columnar) 형식으로 재투영(reproject)하여 벡터화된(vectorized) 방식으로 규칙을 실행한다는 점입니다. 이를 통해 페이로드(payload) 크기와 규칙 복잡성에 따라 초당 20만 건에서 100만 건 이상의 레코드를 처리할 수 있으며, 처리량(throughput)은 평균 200MiB/s에서 3GiB/s에 달합니다. 규칙은 SQL 표현식, ONNX 모델(수치형), 윈도우 연산(window operations) 등 다양한 형태로 정의할 수 있어 유연성이 높습니다.
이러한 고성능 이벤트 처리 능력은 실시간 데이터 분석, 복잡한 이벤트 처리(CEP), 데이터 필터링 및 라우팅(routing) 등 다양한 분야에서 혁신적인 변화를 가져올 수 있습니다. 특히 대규모 스트리밍 데이터 환경에서 지연 시간(latency)을 최소화하면서도 복잡한 비즈니스 로직을 적용해야 하는 기업들에게 매우 유용한 도구가 될 것입니다. 블레이즈룰즈는 데이터 처리 파이프라인의 효율성을 극대화하고, 의사결정 과정을 가속화하는 데 크게 기여할 것으로 보입니다.