인공지능(AI) 기반 데이터 에이전트가 실제 데이터 분석 업무를 얼마나 수행할 수 있을지에 대한 관심이 높아지고 있습니다. 단순한 SQL(Structured Query Language) 생성 능력을 넘어, 여러 데이터베이스를 결합하고, 도메인 지식(Domain Knowledge)을 활용하며, 비정형 데이터(Unstructured Data)까지 처리하는 복합적인 능력이 요구됩니다. 최근 실무 환경을 반영한 벤치마크 평가에서 최고 에이전트의 단일 시도 통과율(pass@1)은 약 61%로 나타나, 아직은 주니어 분석가의 역할을 완전히 대체하기 어렵다는 현실을 보여주었습니다.
이 벤치마크는 실제 기업 환경처럼 서로 다른 데이터베이스에서 데이터를 가져와 계산하고 조인(join)해야 하며, 주식 종목 기호나 이동평균(Moving Average) 같은 도메인 지식을 활용하도록 설계되었습니다. 또한, 자유 텍스트 형태의 고객 지원 티켓을 해석하는 비정형 데이터 변환 능력도 평가 대상에 포함되었습니다. 흥미로운 점은 데이터의 의미와 관계를 정리한 시맨틱 레이어를 에이전트에 제공했을 때 정확도가 크게 향상된다는 것입니다. 하지만 시맨틱 레이어 구축과 관리는 여전히 사람의 전문적인 역할이 필요한 어려운 작업으로, 에이전트가 생성한 결과물이라도 품질 기준이 낮아져서는 안 된다는 지적이 나옵니다.
이번 연구는 데이터 에이전트의 발전 방향과 한계를 명확히 보여줍니다. 에이전트가 데이터 시스템의 주요 사용자로 자리매김하려면, 단순히 인터페이스를 제공하는 것을 넘어 읽어야 할 토큰(token) 수와 도구 호출(tool call) 수를 줄이는 등 에이전트 맞춤형 도구 설계가 필요합니다. 또한, 사용자가 결과를 보며 평가 기준을 바꾸는 것처럼, LLM(대규모 언어모델) 심판(LLM judge)의 평가를 신뢰하기 위해서는 사람이 충분한 샘플을 직접 검토하고 평가표에 대한 확신을 가져야 한다는 점도 강조됩니다. 결국 데이터 에이전트의 성공적인 활용은 기술 발전뿐 아니라, 인간과 AI의 협업 방식, 그리고 데이터 관리 철학의 변화를 요구하고 있습니다.