대규모 언어모델(LLM) 기반 에이전트가 다양한 작업을 수행하기 위해 재사용 가능한 기능인 '에이전트 스킬(Agent Skill)'의 중요성이 커지고 있습니다. 하지만 스킬의 선언된 내용과 실제 구현 방식 사이에 불일치(inconsistency)가 발생하면, 에이전트가 의도치 않은 위험한 행동을 하거나 잘못된 스킬을 선택할 수 있어 심각한 문제를 초래할 수 있습니다. 최근 발표된 연구 논문 'SkillConsist'는 이러한 스킬 불일치를 효과적으로 탐지하는 새로운 방법론을 제시했습니다.
SkillConsist는 LLM을 활용해 스킬의 '선언(declaration)'과 '구현(implementation)' 내용을 분리하고, 정적 분석(static analysis)을 통해 구현 기록을 보완합니다. 이렇게 분리된 정보는 각각 선언 및 구현 행동 그래프(behavior graph)로 구성됩니다. 이후 양방향 그래프 정렬(bidirectional graph alignment) 기법을 사용해 한쪽 그래프의 행동 기록에서 시작하여 다른 쪽 그래프에서 해당 행동을 완전히 표현하는 후보 서브그래프(subgraph)를 탐색하고 확장합니다. 마지막으로, 정렬된 서브그래프 간의 차이점(graph differencing)을 분석하여 불일치 지점을 정확히 식별하고 결과를 출력합니다.
연구팀은 ClawHub의 인기 스킬 500개와 133개의 스킬-인젝트(Skill-Inject) 패키지에서 총 633개의 스킬 벤치마크를 구축했습니다. 이 벤치마크에는 319개의 불일치 스킬과 314개의 일치 스킬이 포함되어 있으며, 442개의 국지적 불일치(localized inconsistency) 주석이 달려 있습니다. SkillConsist는 이 벤치마크에서 패키지 수준 탐지 시 86.85%의 정밀도(precision), 89.03%의 재현율(recall), 87.93%의 F1 점수를 달성하여, 기존 최고 성능 대비 F1 점수를 20.43%포인트 향상시키는 뛰어난 결과를 보였습니다. 또한, 불일치 지점의 국지화(localization)에서도 67.60%의 정밀도, 58.14%의 재현율, 62.52%의 F1 점수를 기록했습니다.
이러한 성과는 LLM 에이전트의 신뢰성과 안전성을 크게 향상시킬 수 있는 중요한 진전입니다. 스킬 불일치를 조기에 정확하게 탐지함으로써, 개발자들은 에이전트의 잠재적 위험을 사전에 파악하고 수정할 수 있게 됩니다. 이는 특히 금융, 의료, 자율주행 등 고위험군 분야에서 LLM 에이전트가 활용될 때 필수적인 요소로 작용할 것입니다. SkillConsist와 같은 기술은 에이전트 개발 과정의 안정성을 높이고, 최종 사용자가 더욱 안심하고 AI 에이전트를 활용할 수 있는 기반을 마련해 줄 것으로 기대됩니다.