엔비디아(Nvidia)의 최근 연구 결과에 따르면, 인공지능(AI) 에이전트의 성능을 좌우하는 핵심 요소가 AI 모델 자체보다는 이를 둘러싼 소프트웨어 구성 요소인 '하네스(harness)'에 있다는 사실이 밝혀졌습니다. 하네스는 AI 모델이 독립적으로 작동할 수 있도록 도구, 메모리 관리, 규칙 등을 제공하는 소프트웨어 래퍼를 의미합니다. 이 연구는 AI 에이전트가 여러 결정을 연속적으로 내려야 하는 '장기적 작업(long-horizon tasks)'에서 하네스의 중요성을 강조하며, AI 개발 패러다임의 변화를 시사합니다.
엔비디아 연구진은 맞춤형 하네스를 사용해 클로드 오푸스 5(Claude Opus 5) 모델이 지시 없는 2D 게임 벤치마크인 ARC-AGI-3에서 100%의 점수를 달성했다고 발표했습니다. 이는 인간과 동등한 수준으로 게임을 이해하고 승리할 수 있음을 의미합니다. 하네스 없이는 동일 모델이 30%의 점수에 그쳤는데, 이는 당시 테스트된 모든 모델 중 최고 점수였습니다. 특히 이 하네스에는 에이전트가 막히거나 잘못된 방향으로 갈 때 올바른 길로 유도하는 '감독(supervisor)' 구성 요소가 포함되어 있었습니다. 과거 마이크로소프트(Microsoft) 연구에서도 장기적 작업에서 대규모 언어모델(LLM)들이 오류를 범하는 경향을 보였는데, 엔비디아의 연구는 하네스를 통해 이러한 문제를 해결할 수 있음을 보여줍니다.
이러한 연구 결과는 AI 에이전트 시스템에서 모델 선택만큼이나 하네스의 설계가 중요하다는 점을 명확히 합니다. 엔비디아의 AI 부문 제품 담당 부사장 아델 엘 할락(Adel El Hallack)은 에이전트가 단순히 모델의 API(Application Programming Interface)가 아니라, 모델과 이를 둘러싼 스캐폴딩(scaffolding), 즉 하네스와 런타임(runtime), 그리고 접근 가능한 기술 라이브러리 전체를 포함한다고 설명했습니다. 이는 AI 에이전트의 성능과 비용 효율성 모두에 하네스가 결정적인 영향을 미칠 수 있음을 의미하며, 오픈 하네스를 통해 사용자들이 더 많은 제어권을 가지고 정확도를 높일 수 있다는 엔비디아의 비전을 뒷받침합니다. 궁극적으로는 개방형 에이전트 스택(open agent stack)이 AI 생태계를 안전하게 발전시키는 데 필수적이라는 메시지를 전달합니다.