장시간 복잡한 작업을 수행하는 인공지능(AI) 에이전트의 성능을 단순히 최종 결과만으로 평가하는 것은 한계가 있습니다. 수백 번의 판단과 실행 과정을 거치는 에이전트의 내부 동작을 이해하고 개선하기 위해, 'Agent Behavior'라는 새로운 개방형 표준이 깃허브(GitHub)에 공개되었습니다. 이 표준은 에이전트가 특정 작업을 수행하는 동안 반복적으로 보여야 할 '행동'을 문서화하고, 이를 평가 기준으로 삼는 것을 목표로 합니다.
'Agent Behavior' 표준은 에이전트가 어떤 정보를 확인하고, 어떻게 판단하며, 실행 과정에서 실패했을 때 어떻게 복구해야 하는지 등 구체적인 행동 지침을 기술합니다. 이는 일회성 작업 절차보다는 비용 효율성, 안전성, 정확성처럼 여러 작업에 걸쳐 지속적으로 지켜져야 할 행동 원칙에 중점을 둡니다. 행동 스펙은 마크다운(Markdown) 파일 형태로 저장되며, YAML 프런트매터(frontmatter)에 이름과 설명을 포함하고 본문에는 의도, 확인할 증거, 판단, 실행, 복구, 실패 유형 등을 자유 형식으로 작성하도록 권장합니다. 이는 시스템 프롬프트(system prompt)가 에이전트의 행동을 직접 지시하는 것과 달리, 무엇이 '좋은 행동'인지 미리 정의하는 문서로서, 에이전트의 구현과 평가, 디버깅 과정에서 활용됩니다.
이 표준은 특정 평가 방식이나 스코어러를 강제하지 않으므로, 사람의 트레이스(trace) 리뷰, 루브릭 평가, 자동화된 평가(eval) 등 다양한 방식으로 활용될 수 있습니다. 예를 들어, 비용이 많이 드는 작업을 시작하기 전 확인 절차를 거치거나, 재무 결과 검증 시 1차 자료를 우선 사용하는 행동 등을 명시할 수 있습니다. 이를 통해 개발자는 에이전트의 행동을 일관된 기준으로 설계하고 감사할 수 있으며, 사용자 입장에서는 에이전트의 신뢰성과 예측 가능성을 높일 수 있습니다. 궁극적으로 'Agent Behavior'는 AI 에이전트 개발 생태계 전반의 투명성과 효율성을 향상시키는 데 기여할 것으로 보입니다.