실시간 양방향 음성 에이전트(full-duplex voice agents)가 언제 듣고, 끼어들고, 말을 주고받을지 등 복잡한 대화 흐름을 자연스럽게 처리하는 능력은 인공지능(AI) 기술의 중요한 과제입니다. 최근 발표된 연구 논문은 이러한 음성 에이전트가 '암묵적 지시(implicit instruction)'를 얼마나 잘 따르는지 평가하는 새로운 벤치마크 'DuplexSpeechBench-IFEval (DSB-IFEval)'을 선보였습니다. 이는 AI가 단순히 명시적인 명령을 수행하는 것을 넘어, 주어진 역할이나 페르소나(persona)에서 적절한 대화 행동을 스스로 추론하고 실행하는 능력을 측정하는 데 중점을 둡니다.
DSB-IFEval은 1,038개의 테스트 케이스를 통해 8가지 다양한 비서 역할을 평가합니다. 평가 프로토콜은 기본 행동, 명시적 행동 지시, 페르소나에 따른 암묵적 행동, 페르소나-규칙 결합 조건, 그리고 지시 충돌 상황 등 5가지로 구성됩니다. 연구팀은 '지시 준수 점수(Instruction Adherence Score, IAS)'로 실시간 대화 관리 능력을, '페르소나 준수 점수(Persona Adherence Score, PAS)'로 LLM이 판단하는 페르소나 일관성을 측정했습니다. 6가지 실시간 음성 시스템을 대상으로 한 평가에서, F-Actor와 PersonaPlex 같은 양방향 모델은 행동 지시가 명시적인지 페르소나에서 추론해야 하는지에 따라 준수율이 각각 9.7%, 4.5% 하락하는 등 아키텍처별 차이를 보였습니다. 반면 GPT-Realtime, MiniCPM-o, Fun-Audio-Chat은 페르소나 일관성 있는 콘텐츠 생성에는 강했지만, 대화 관리 행동은 명시적 지시와 페르소나 기반 지시 모두에서 크게 변화하지 않고 능동적인 행동에 제약이 있었습니다. 특히 안전 관련 지시와 충돌할 경우, 시스템들이 페르소나를 따르더라도 이를 무시하는 데 어려움을 겪는 것으로 나타났습니다.
이러한 연구 결과는 AI 음성 에이전트가 사람처럼 자연스러운 대화를 나누기 위해서는 아직 갈 길이 멀다는 것을 보여줍니다. 단순히 명령을 따르는 것을 넘어, 주어진 역할의 맥락을 이해하고, 적절한 시점에 대화에 참여하며, 심지어 상충하는 지시를 현명하게 해결하는 능력은 여전히 AI 기술의 중요한 도전 과제입니다. 이는 향후 AI 비서, 고객 서비스 챗봇, 가상 비서 등 다양한 분야에서 더욱 정교하고 인간적인 상호작용을 구현하기 위한 핵심적인 연구 방향을 제시합니다.