AI 에이전트(Agent)가 웹 검색, 코드 작성, 실험 수행 등 인간의 업무를 돕는 디지털 동료로 빠르게 발전하고 있지만, 이들의 실제 협업 능력을 정확히 평가할 기준이 부족했습니다. 이러한 간극을 해소하기 위해, 연구진이 실제 코드 저장소와 대화 기록에 기반한 새로운 벤치마크 '슬랙벤치(SlackBench)'를 공개했습니다. 슬랙벤치는 에이전트가 실제 연구 및 엔지니어링 워크플로우에서 복잡한 협업 환경을 얼마나 잘 이해하고 문제를 해결하는지 측정합니다.
슬랙벤치는 실제 학술 연구 프로젝트를 개인 정보 보호 방식으로 재구성하여, 현실적인 다자간 대화, 변화하는 의사 결정, 그리고 이에 상응하는 깃허브(GitHub) 저장소와 구글 독스(Google Docs)의 코드 변경 사항을 재현합니다. 140개의 질의를 포함하며, 에이전트가 이질적인 출처에서 정보를 검색하고, 답변 불가능한 질문에는 회피하며, 긴 대화에서 목표 지향적인 요약을 수행하고, 상황을 추론하는 능력을 평가합니다. 단순히 정적 데이터셋에서 질문에 답하는 것을 넘어, 에이전트는 어떤 대화가 중요한지 판단하고, 스레드를 탐색하며, 저장소 상태를 검사하고, 대화와 코드 아티팩트 전반의 증거를 종합해야 합니다. 33개의 최신 모델과 에이전트 하네스(harness)를 테스트한 결과, 최고 성능 시스템도 약 80%의 점수를 기록했고 대부분은 66% 미만에 머물러, 개선의 여지가 크다는 점을 보여주었습니다.
슬랙벤치의 등장은 협업 AI 에이전트 기술 발전에 중요한 이정표가 될 것입니다. 기존 벤치마크들이 합성 데이터나 고립된 작업에 의존하여 실제 지식 노동의 복잡한 다자간 역학 관계를 놓쳤던 한계를 극복했기 때문입니다. 이 벤치마크는 에이전트가 대화, 코드, 그리고 변화하는 의사 결정 전반에 흩어진 중요한 정보를 통합하여 추론하는 능력을 요구하며, 이는 실제 업무 환경에서 AI 에이전트의 실용성을 높이는 데 필수적인 요소입니다. 앞으로 슬랙벤치는 더욱 현실적인 협업 환경에서 에이전트의 성능을 객관적으로 측정하고 개선 방향을 제시하는 중요한 도구로 활용될 것입니다.