대규모 언어모델(LLM) 에이전트 생태계가 빠르게 성장하면서, 다양한 기능을 수행하는 '스킬(skill)'의 재사용이 핵심 요소로 부상하고 있습니다. 이러한 스킬은 메타데이터, 자연어 지침, 코드, 도구, 참조, 운영 워크플로우 등 여러 요소를 포함하는 복합적인 패키지 형태를 띠고 있습니다. 스킬이 마치 시장에서 거래되는 상품처럼 활용되면서, 다른 스킬에 재활용되었는지 정확하게 감사(auditing)하는 것이 중요해졌습니다.
기존의 코드 복제 탐지(code clone detection) 방식은 주로 단일 모달리티(single-modality)의 소스 코드나 전체 패키지의 유사성만을 비교하기 때문에, 스킬의 일부만 재활용된 경우에는 이를 놓치기 쉬웠습니다. 이러한 한계를 극복하기 위해, 새로운 연구에서는 LLM 에이전트 스킬 재활용을 위한 다중 흔적 출처 감사(Multi-Trace Provenance Auditing) 프레임워크인 'SkillTrace'를 제안했습니다. SkillTrace는 스킬의 ‘표현(Expression)’, ‘구현(Implementation)’, ‘운영(Operational)’이라는 세 가지 핵심 흔적을 추출하여 분석합니다. 특히 운영 흔적은 스킬 운영 그래프(Skill Operational Graph, SOG)로 표현되어 스킬의 활성화, 절차, 자원 흐름 구조를 상세하게 포착합니다. LLM은 이 중 운영 흔적 추출 과정에서 한 번만 보조적으로 사용되며, 실제 감사 시에는 캐시된 흔적들을 결정론적으로 비교하여 재활용 여부를 판단합니다.
SkillTrace는 100개의 시장 스킬과 820개의 변형된 재활용 사례, 그리고 751개의 부정 제어(negative control) 항목으로 구성된 SkillTrace-BENCH 벤치마크에서 AUROC 0.938, F1 점수 0.898이라는 높은 성능을 달성했습니다. 또한, 36,446개의 스킬을 대상으로 한 실제 감사(wild audit) 결과, 기존의 저장소(repository) 수준 기준으로는 놓쳤을 수 있는 재활용 사례들을 추적 기반의 증거로 밝혀내어 실제적인 검토 대기열(review queues)을 생성할 수 있음을 입증했습니다. 이는 LLM 에이전트 스킬의 투명성과 공정성을 확보하고, 스킬 개발 및 거래 생태계의 신뢰도를 높이는 데 중요한 기여를 할 것으로 기대됩니다.