대부분의 AI 에이전트는 사용자가 자신의 선호도를 명확히 알고 있다는 전제하에 작동합니다. 즉, 에이전트는 사용자의 요구가 불분명할 때 질문을 통해 명확한 답변을 유도하는 방식에 의존해왔습니다. 그러나 최근 아카이브(arXiv)에 발표된 연구 논문은 이러한 가정이 비현실적이라고 지적하며, 사용자가 특정 도메인 지식이 부족하여 자신의 선호도를 완전히 정의하기 어렵다고 주장합니다.
이레나 사라케이(Irena Saracay) 외 연구진은 사용자가 에이전트와의 대화를 통해 선호도를 구축하는 과정을 모델링하는 'CoPref' 프레임워크를 제시했습니다. 이는 정보 경제학의 '탐색-경험-신뢰(Search-Experience-Credence)' 모델을 기반으로 합니다. 연구팀은 이 아이디어를 구체적으로 검증하기 위해 에이전트 기반 추천 시스템에 적용한 상호작용 벤치마크 'CoShop'을 개발했습니다. CoShop에서 에이전트는 CoPref 사용자와 대화하며 추천을 제공하는데, 에이전트의 성능은 사용자가 원하는 바를 명확히 지정하는 데 필요한 지식을 얼마나 잘 습득하도록 돕는지에 달려있습니다. 다섯 가지 최첨단 모델을 평가한 결과, 5번의 상호작용에도 불구하고 어떤 에이전트도 CoShop에서 56% 이상의 정확도를 넘지 못했습니다. 이는 에이전트가 아이템을 찾는 능력의 문제가 아니라, 상호작용이 사용자가 무엇을 원하는지에 대한 지식을 확장하는 데 거의 기여하지 못했기 때문입니다.
이번 연구는 AI 에이전트 개발의 중요한 전환점을 제시합니다. 단순히 사용자의 의도를 파악하는 것을 넘어, 사용자가 스스로 자신의 선호도를 형성하고 발전시킬 수 있도록 교육하고 안내하는 역할이 필요하다는 것입니다. 이는 특히 복잡하거나 전문적인 지식이 필요한 분야에서 AI 에이전트의 활용도를 크게 높일 수 있습니다. 예를 들어, 금융 상품 추천이나 복잡한 소프트웨어 설정 등에서 사용자가 충분한 정보를 바탕으로 합리적인 결정을 내리도록 돕는 에이전트의 등장을 기대할 수 있습니다. 이러한 새로운 접근 방식은 사용자 경험을 혁신하고 AI 에이전트의 실질적인 가치를 증대시키는 데 기여할 것입니다.