오늘날 에이전트 AI(Agentic AI) 개발은 '토큰 맥싱(token maxing)'이라는 문제에 직면해 있습니다. 이는 AI의 추론(inference) 과정에서 더 긴 추론 경로, 더 많은 상호작용, 더 넓은 도구 활용, 더 큰 컨텍스트(context) 재사용 등을 위해 토큰(token) 사용량을 무작정 늘려 기능을 '구매'하는 현상을 말합니다. 개별 토큰 가격이 하락하고 있음에도 불구하고, 작업당 토큰 사용량이 작업 가치보다 빠르게 증가하여 전체 AI 운영 비용이 계속 상승하는 결과를 낳고 있습니다.
최근 arXiv에 발표된 연구 'The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI'는 이러한 토큰 맥싱에 대응할 결정적인 수단으로 '하네스(harness)', 즉 오케스트레이션(orchestration) 계층의 중요성을 강조합니다. 연구팀은 22개의 고정된 평가 작업과 6개의 다양한 기반 모델(foundation model)을 사용하되, 오직 오케스트레이션 계층만 일반적인 프로덕션 루프와 '라이터 에이전트 하네스(Writer Agent Harness)'로 변경하여 비교했습니다. 그 결과, 모델을 고정한 상태에서도 하네스 최적화를 통해 작업당 평균 비용을 41%($0.21에서 $0.12로), 중간 처리 시간을 44%(48초에서 27초로), 작업당 토큰 사용량을 38%(14.2k에서 8.8k로) 절감할 수 있었습니다. 심지어 작업 완료 품질은 동등하거나 약간 향상되었습니다.
이러한 효율성 개선은 모델 종류와 무관하게 모든 모델에서 33~61%의 비용 절감 효과를 보였습니다. 특히, 모델의 기본 성능이 좋을수록 품질 향상 폭이 커지는 '하네스 레버리지(harness leverage)' 현상도 관찰되었습니다. 이는 오케스트레이션 계층이 단순히 비용을 줄이는 것을 넘어, AI 모델의 잠재력을 최대한 끌어내는 핵심 요소임을 시사합니다. 연구는 캐시 최적화부터 실패 비용 관리까지 6가지 메커니즘을 통해 하네스의 효율성을 설명하며, 오케스트레이션 계층이야말로 조직이 현재와 미래에 운영할 모든 AI 모델의 효율성을 배가시키는 유일한 구성 요소라고 주장합니다. 즉, 기업이 AI 도입의 경제성과 성능을 동시에 잡기 위해서는 모델 자체의 성능 경쟁뿐만 아니라, 이 모델들을 효과적으로 조율하고 관리하는 오케스트레이션 전략에 집중해야 함을 보여줍니다.