개발자들이 반복적인 이벤트 처리 코드 작성에 지쳐 직접 프로그래밍 가능한 이벤트 추적 파이프라인 '인제스트레이어(Ingestlayer)'를 공개했습니다. 이는 회원가입, 결제 실패, 고객 지원 티켓 발생 등 기업 내에서 발생하는 다양한 신호(이벤트)를 감지하여, 이를 슬랙(Slack) 메시지, 데이터베이스(DB) 저장, 이메일 발송 등 필요한 여러 목적지로 자동 처리해주는 솔루션입니다. 매번 새로운 핸들러 코드를 작성하거나 외부 서비스와 연동하는 번거로움 없이, 재사용 가능한 파이프라인을 구축하여 이벤트 처리 과정을 간소화하는 것이 목표입니다.
인제스트레이어는 이벤트 수집(Ingest), 변환(Transform), 라우팅(Route)의 세 가지 핵심 단계로 구성됩니다. 먼저 SDK나 웹훅(Webhook)을 통해 이벤트를 수집하고, 이어서 14가지 이상의 액션(Action) 카탈로그를 활용해 데이터를 풍부하게 만들거나(enrichment), 수정하고(mutation), 특정 조건에 따라 이벤트를 필터링하거나 중복을 제거하는(control) 등의 변환 작업을 수행합니다. 예를 들어, 사용자 이메일로 개인 정보를 조회하거나, LLM(대규모 언어모델)을 활용해 텍스트를 요약, 분류, 번역하는 기능도 포함됩니다. 마지막으로, 변환된 이벤트를 슬랙, 텔레그램, 포스트그레스(Postgres) 데이터베이스, 이메일 등 다양한 목적지로 유연하게 전달합니다. 각 목적지별로 데이터 형태를 다르게 구성할 수도 있습니다.
이러한 인제스트레이어는 기업의 데이터 흐름을 효율적으로 관리하고 개발 생산성을 크게 향상시킬 수 있다는 점에서 중요합니다. 특히, 마케팅, 고객 지원, 제품 분석 등 여러 부서에서 각기 다른 형태로 이벤트를 활용해야 할 때, 중앙 집중식으로 파이프라인을 관리하여 일관성과 정확성을 확보할 수 있습니다. 또한, 코딩 없이 시각적으로 파이프라인을 구성할 수 있어 비개발 직군도 데이터 활용에 적극적으로 참여할 수 있게 되며, 이는 곧 데이터 기반 의사결정을 가속화하는 데 기여할 것입니다. 복잡한 이벤트 처리 로직을 표준화하고 자동화함으로써, 개발팀은 핵심 비즈니스 로직에 더 집중할 수 있게 됩니다.