코딩 에이전트를 사용할 때 어떤 대규모 언어모델(LLM)을 선택하느냐만큼 중요한 것이 바로 '하네스(Harness)'라는 연구 결과가 발표되었습니다. 하네스는 모델의 도구, 문맥, 작업 실행을 관리하는 소프트웨어 시스템으로, 이번 연구는 7개 모델을 세 가지 다른 하네스(Claude Code, Codex CLI, Pi)에 연결하여 비교했습니다. 그 결과, 같은 모델이라도 하네스에 따라 작업 성공률은 비슷했지만, 토큰 비용은 최대 5배까지 차이가 나는 것으로 나타나 '하네스 택스(Harness Tax)'라는 개념을 제시했습니다.
연구팀은 SWE-bench Lite와 Terminal-Bench 2.0 두 가지 벤치마크에서 각각 30개의 작업을 수행하며 21가지 모델-하네스 조합을 평가했습니다. 특히 주목할 점은 Anthropic과 OpenAI 모델 6개를 비교한 12건 중 9건에서 다른 공급사의 하네스가 가장 높은 성공률을 기록했다는 사실입니다. 이는 모델 공급사가 제공하는 기본 하네스가 반드시 최적의 조합이 아님을 보여줍니다. 또한, 읽기, 쓰기, 편집, bash 네 가지 도구만 제공하는 단순한 오픈소스 하네스인 Pi도 비용 대비 성공률에서 경쟁력을 보이며 파레토 경계에 도달하는 등 복잡한 하네스만이 능사는 아니라는 점을 입증했습니다.
이러한 결과는 코딩 에이전트의 실제 활용에 중요한 시사점을 던집니다. 개발자들은 단순히 강력한 모델을 선택하는 것을 넘어, 자신의 작업 부하와 비용 효율성을 고려하여 최적의 하네스를 찾아야 합니다. 초기 문맥의 길이, 캐싱 전략, 생성 토큰의 양 등 하네스의 설계 방식이 총비용에 큰 영향을 미치므로, 다양한 하네스를 실험하고 비교하는 과정이 필수적입니다. 궁극적으로는 사용자가 이러한 복잡한 선택을 직접 떠맡기보다는, 작업 진행에 따라 유연하게 적응하며 비용 효율성과 신뢰성을 우선하는 범용 코딩 에이전트와 하네스 개발이 필요할 것입니다.