최근 한 연구에 따르면, 멀티모달 AI 에이전트가 복잡한 작업을 수행하기 위해 필요한 다양한 스킬(skill)들을 어떻게 인식하고 활용하는지가 에이전트의 전반적인 성능에 결정적인 영향을 미치는 것으로 나타났습니다. 특히, 대규모 언어모델(LLM) 기반의 에이전트가 적절한 스킬을 선택하고 실행하는 과정에서, 스킬의 '표현 방식'과 '노출 전략'이 매우 중요하다는 점이 강조되었습니다.
이번 연구는 프로덕션 환경의 멀티모달 비디오 에이전트 하네스(agent harness)인 '타이니클라우드(Tinycloud)'를 사례 연구로 진행되었습니다. 타이니클라우드는 외부 API나 시스템 도구를 래핑하는 '도구 스킬(tool-skill)'과 이러한 도구 스킬을 조합해 특정 결과물을 생성하는 '워크플로 스킬(workflow-skill)' 두 가지 방식으로 스킬을 관리합니다. 이 스킬들은 시스템 프롬프트(system prompt) 내에서 '전체 지침과 스크립트가 포함된 자동 로드 방식' 또는 '한 줄 요약으로 필요할 때 호출하는 방식'으로 노출됩니다. 실험 결과, 모든 스킬을 시스템 프롬프트에 완전히 노출했을 때 에이전트가 항상 올바른 스킬을 선택했지만, 일부 스킬만 노출하거나 기본 설정으로 노출했을 때는 에이전트가 잘못된 스킬을 선택하는 오류가 발생했습니다. 이는 부분적인 스킬 노출이 오히려 어휘적 충돌을 일으켜 에이전트의 주의를 분산시키고 올바른 선택을 방해할 수 있음을 시사합니다.
이 연구는 에이전트 개발자들이 스킬을 설계하고 시스템 프롬프트에 통합할 때 매우 신중해야 함을 보여줍니다. 단순히 많은 스킬을 제공하는 것을 넘어, 각 스킬의 목적과 기능을 에이전트가 명확하게 이해할 수 있도록 효과적으로 표현하고 노출하는 것이 중요합니다. 이는 대규모 언어모델(LLM) 기반 에이전트의 성능을 최적화하고, 실제 사용 환경에서 발생할 수 있는 오류를 줄이는 데 핵심적인 역할을 할 것입니다. 또한, 스킬 표현 방식이 에이전트의 검색(retrieval) 및 라우팅(routing) 능력에 미치는 영향을 이해하는 것은 미래의 더욱 정교하고 신뢰할 수 있는 AI 에이전트를 구축하는 데 필수적인 통찰을 제공합니다.