AI 에이전트가 실제 서비스에 도입되면서, 사용자 경험을 개선하고 비즈니스 기회를 발굴하는 것이 중요해지고 있습니다. 이러한 요구에 맞춰 '모두나(Moduna)'가 출시되어 AI 에이전트의 운영 데이터를 분석하고 개선점을 도출하는 솔루션을 제공합니다. 모두나는 프로덕션 환경에서 발생하는 사용자 대화를 구조화된 데이터로 전환하여, 에이전트가 놓치고 있는 부분이나 사용자에게 실패하는 지점을 명확히 보여줍니다.
모두나는 AI 에이전트 스택에 간단히 연동되어 작동합니다. 연동 후에는 에이전트와 사용자 간의 실제 대화를 지속적으로 수집하고 분석합니다. 이 과정에서 '기회 레이더' 기능을 통해 아직 기능 요청으로 이어지지 않은 잠재적 수요나 반복되는 해결책, 고가치 대화 등을 파악하여 새로운 워크플로우나 기능, 수익 기회를 찾아냅니다. 또한 '블라인드 스팟 감지' 기능으로 에이전트가 성공적으로 처리했다고 기록했지만 실제로는 사용자 문제를 해결하지 못한 경우(예: 미해결 의도, 반복적인 질문, 누락된 인계, 자신감 있는 답변에도 불구하고 문제 해결 실패)를 식별합니다. 예를 들어, 환불 관련 대화의 18%가 미해결 상태이고 좌절도가 32% 증가했으며, 42%의 대화가 해결에 실패했다는 구체적인 데이터를 통해 '환불 에스컬레이션 워크플로우 추가'와 같은 개선 사항을 제안합니다.
이러한 분석은 AI 에이전트 팀에게 사용자가 무엇을 원하는지, 에이전트가 어디서 실패하는지, 그리고 다음에 무엇을 개선해야 할지에 대한 명확한 통찰력을 제공합니다. 마치 웹사이트의 사용자 행동을 분석하는 믹스패널(Mixpanel)처럼, 모두나는 AI 에이전트의 '의도 대시보드' 역할을 수행하여 제품 로드맵을 수립하는 데 필요한 객관적인 증거를 제공합니다. 이는 AI 에이전트의 성능을 지속적으로 최적화하고, 사용자 만족도를 높이며, 궁극적으로 새로운 비즈니스 가치를 창출하는 데 핵심적인 역할을 할 것으로 기대됩니다.