AI 에이전트가 고객 서비스, 운영 등 다양한 분야에 도입되면서, 에이전트의 성능을 지속적으로 개선하는 것이 중요해지고 있습니다. 이러한 요구에 맞춰 AI 에이전트의 제품 분석을 전문으로 하는 새로운 도구 '인텐션(Intencion)'이 공개되었습니다. 인텐션은 에이전트의 모든 실행(run)을 처음부터 끝까지 포착하여 사용자의 의도(intent)와 에이전트의 처리 과정, 그리고 최종 결과를 명확하게 보여줍니다.
인텐션은 기존의 시스템 관찰(observability) 도구와는 차별화됩니다. 단순히 모델이 실행되었는지 여부를 넘어, 사용자가 원하는 것을 얻었는지, 그리고 더 많은 사용자가 만족할 수 있도록 다음에 무엇을 구축해야 할지를 알려줍니다. 예를 들어, '환불 요청' 의도가 1,204회 발생했고 96% 해결되었지만, '플랜 변경' 의도는 410회 중 61%만 해결되었으며, 주요 실패 원인이 '신원 확인 불가'였다는 식의 구체적인 데이터를 제공합니다. 이를 통해 개발팀은 가장 큰 문제점을 파악하고 사용자 요청이 많은 새로운 기능을 우선적으로 개발하여 에이전트의 성능을 주간 단위로 개선할 수 있습니다. 인텐션은 기존 추적(tracing) 및 제품 분석 스택(예: Langfuse, LangSmith, Amplitude)과 함께 작동하며, 단 한 줄의 코드 추가로 설치가 가능하고 요청 경로에 지연을 발생시키지 않는 것이 특징입니다.
이러한 접근 방식은 AI 에이전트의 제품 로드맵을 사용자 경험 중심으로 설정하는 데 결정적인 역할을 합니다. 에이전트가 처리하지 못하는 새로운 사용자 요청을 '떠오르는(Emerging)' 의도로 분류하고, 발생 빈도에 따라 우선순위를 매겨 다음 개발 항목을 제시합니다. 또한, 에이전트의 실행 데이터를 기반으로 의도 분류 체계(taxonomy)를 지속적으로 개선하여, 오래 실행될수록 사용자 트래픽을 더 정확하게 라벨링하고 분석합니다. 이는 에이전트가 매주 가장 큰 문제를 해결하고 사용자가 지속적으로 요구하는 기능을 추가함으로써, 에이전트의 해결률을 꾸준히 높여나가는 선순환 구조를 만듭니다. 궁극적으로 인텐션은 AI 에이전트가 단순한 기술적 구현을 넘어, 실제 사용자 가치를 창출하는 제품으로 진화하도록 돕는 핵심 도구가 될 것으로 기대됩니다.