최근 AI 에이전트(AI agent)가 웹사이트, CLI(명령줄 인터페이스), SDK(소프트웨어 개발 키트), API(응용 프로그래밍 인터페이스) 등 다양한 제품을 사용하는 과정에서 어디서 막히고 헤매는지 분석해주는 오픈소스 도구 AJX(Agent Journey Experience)가 출시되었습니다. AJX는 제품의 '에이전트 사용성(agent usability)'을 테스트하여, 에이전트가 작업을 완료하는 데 필요한 시간, 토큰(token) 소모량, 재시도 횟수를 줄일 수 있는 개선점을 제시합니다.
AJX는 CLI와 스킬(skill) 번들 형태로 제공되며, 사용자가 테스트하려는 제품에 대해 에이전트가 작업을 수행하도록 지시합니다. 예를 들어, 특정 JSON 데이터를 필터링하여 CSV로 내보내는 작업을 에이전트에게 맡기는 식입니다. AJX는 이 과정에서 에이전트가 잘못된 명령어를 사용하거나, 예상치 못한 오류에 직면하여 재시도하는 모든 여정을 기록하고 시각화합니다. 최종적으로는 '제품 개선 요청(product asks)' 목록을 생성하여, 문서화된 플래그(flag)가 실제와 다르거나, 퀵스타트(quick-start) 가이드가 불명확한 부분 등 구체적인 개선 사항과 그 증거를 제공합니다.
이는 AI 에이전트가 단순한 도구를 넘어 실제 사용자로 부상하고 있는 현 상황에서 매우 중요한 의미를 가집니다. 개발자들은 AJX를 통해 자사 제품이 AI 에이전트에게 얼마나 직관적이고 효율적인지 객관적으로 평가할 수 있게 됩니다. 에이전트 친화적인 제품은 더 많은 AI 기반 서비스에 통합될 가능성이 높으며, 이는 곧 제품의 시장 경쟁력 강화로 이어질 것입니다. 또한, 에이전트의 불필요한 재시도를 줄여 비용 효율성을 높이는 데도 기여할 수 있습니다.