엑스머고(Exmergo)가 AI 에이전트가 데이터 분석 작업을 더 효율적이고 비용 효과적으로 수행하도록 돕는 오픈소스 도구 '덱스(Dex)'를 출시했습니다. 덱스는 클로드 코드(Claude Code)와 같은 코딩 에이전트가 데이터 웨어하우스 탐색, dbt 변환, 그리고 스키마 드리프트(schema drift) 유지보수와 같은 분석 엔지니어링 작업을 수행할 수 있도록 특별히 설계된 스킬 플러그인입니다. 이는 스노우플레이크(Snowflake), 데이터브릭스(Databricks)와 같은 고비용의 데이터 웨어하우스 사용과 대규모 언어모델(LLM)의 높은 토큰 소모 사이에서 어려움을 겪는 데이터 및 분석 팀의 문제를 해결하는 데 중점을 둡니다.
덱스는 '탐색(Explore)', '변환(Transform)', '유지보수(Maintain)'의 세 가지 핵심 기능을 제공합니다. 탐색 기능은 낯선 데이터 웨어하우스를 분석하고, 중요한 데이터를 식별하며, SQL 쿼리를 통해 임시 질문에 답하고, 개인 식별 정보(PII)를 보호합니다. 변환 기능은 dbt 모델(staging to marts)과 시맨틱 레이어(semantic layer)를 작성하고, 개발 환경에서 유효성을 검사하며, 비용을 예측하여 불필요한 지출을 방지합니다. 유지보수 기능은 데이터 웨어하우스와 dbt 프로젝트 간의 스키마, 볼륨, 정의 변화를 감지하고, 영향도에 따라 순위를 매겨 수정 사항을 제안합니다. 특히, 덱스는 클라우드 웨어하우스(Snowflake, BigQuery), 임베디드 분석 데이터베이스(DuckDB), 운영 데이터베이스(Postgres) 등 다양한 데이터 소스와 연결되며, 모든 데이터 스캔 비용을 예측하고 승인 후 실행하여 비용 관리를 강화합니다.
덱스의 출시는 AI 에이전트가 데이터 분석 분야에서 실질적인 가치를 창출하는 데 중요한 진전을 의미합니다. 기존 에이전트들은 스키마를 매번 다시 학습하고, 수천 개의 테이블을 다루는 전략이 없으며, 웨어하우스 비용에 대한 인식이 부족하고, 민감한 데이터를 컨텍스트에 노출할 위험이 있었습니다. 덱스는 이러한 한계를 극복하고, dbt 프로젝트를 핵심 객체로 취급하며, 시맨틱 모델의 일관성을 유지하도록 돕습니다. 이를 통해 분석 엔지니어는 AI 에이전트와 협력하여 더 빠르고 정확하며 비용 효율적인 데이터 분석 파이프라인을 구축할 수 있게 될 것입니다. 덱스는 오픈소스(Apache-2.0)로 제공되어 커뮤니티의 참여와 발전을 기대하고 있습니다.