대규모 언어모델(LLM)을 기반으로 작동하는 AI 에이전트(agent)의 실제 역량은 모델 자체보다 이를 둘러싼 인프라, 즉 '하네스(harness)'에 의해 결정된다는 연구 결과가 나왔습니다. 하네스는 AI 모델이 외부 환경과 상호작용하고 작업을 수행하도록 돕는 모든 구성 요소를 의미하지만, 그동안 명확한 정의나 표준화된 명세 방식이 없어 에이전트의 성능을 객관적으로 비교하거나 안전성을 평가하기 어려웠습니다.
최근 아카이브(arXiv)에 발표된 논문 'Towards Portable Specification of the Agent Harness'에서는 이러한 문제 해결을 위해 하네스를 8가지 기능 구성 요소로 분해하고, '휴대 가능한 명세 프레임워크(portable specification framework)'를 제안했습니다. 이 프레임워크는 특정 모델이 어떤 하네스 환경에서 실행되었는지 기록하는 것을 목표로 합니다. 연구진은 동일한 모델이라도 하네스 구성에 따라 성능 점수가 몇 배나 차이 날 수 있으며, 에이전트의 보안 취약점(attack surface) 대부분이 하네스에 존재한다고 지적했습니다. 기존 모델 카드(model card)나 에이전트 카드(agent card)가 출시 및 운영 정보를 제공하지만, 실행 중인 하네스의 유효 구성 순서를 기록하지 못한다는 한계가 있었습니다.
이 연구는 AI 시스템의 투명성과 신뢰성을 확보하는 데 중요한 의미를 가집니다. AI 에이전트가 점차 복잡해지고 자율성을 가지게 되면서, 어떤 조건에서 어떤 방식으로 작동했는지 정확히 파악하는 것이 필수적입니다. 특히 AI 관련 법규들이 문서화 의무를 강조하는 추세 속에서, 하네스에 대한 명확한 버전 관리와 명세는 규제 준수에도 기여할 수 있습니다. 이는 개발자에게는 재현 가능한 실험 환경을, 사용자에게는 예측 가능한 AI 서비스를 제공하며, 궁극적으로 AI 기술의 책임 있는 발전을 촉진할 것입니다.