최근 발표된 실증 연구에 따르면, 대규모 언어모델(LLM)을 활용한 코딩 에이전트의 성능은 단순히 모델의 크기나 역량뿐만 아니라, 이를 감싸는 소프트웨어 계층인 '하네스(harness)'의 설계 방식에 따라 크게 달라지는 것으로 나타났습니다. 이 연구는 동일한 실행 루프 내에서 계획 수립, 행동 인터페이스, 컨텍스트 관리라는 세 가지 핵심 구성요소를 다양하게 조합하여 4가지 LLM과 2가지 벤치마크에 걸쳐 총 176가지 설정을 비교 분석했습니다. 그 결과, 각 구성요소의 효과가 모델의 역량, 작업 유형, 그리고 컨텍스트 예산에 따라 상이하게 나타난다는 점을 밝혀냈습니다.
연구팀은 특히 컨텍스트 관리(context management) 전략이 에이전트의 조기 종료를 막는 데 결정적인 역할을 한다고 강조했습니다. 컨텍스트 창(context window)이 작을수록 컨텍스트 관리의 효과는 더욱 두드러졌는데, 예를 들어 SWE-Bench Verified 벤치마크에서 32k 토큰 컨텍스트 예산의 경우, 컨텍스트 관리 전략을 적용했을 때 평균 성공률이 35.7%p나 향상되었습니다. 이는 주로 컨텍스트 초과로 인한 실패를 방지했기 때문입니다. 또한, 오래된 도구 출력을 먼저 생략하고 필요할 때 LLM으로 요약하는 'T4 단계형 정책'이 전반적으로 가장 비용 효율적인 관리 전략으로 평가되었습니다. 흥미롭게도, 생략된 내용을 복구하는 기능은 거의 사용되지 않았고 일관된 정확도 향상에도 기여하지 못했습니다.
계획 수립(planning) 방식 역시 모델의 역량에 따라 다른 효과를 보였습니다. Nemotron-3 30B와 같은 약한 모델에서는 명시적 계획 유지가 성공률과 비용을 모두 높여 실행을 더 오래 지속하게 도왔지만, Nemotron-3 550B나 Mistral-Medium-3.5-128B와 같은 강력한 모델에서는 성공률이 소폭 감소하는 대신 주로 코드 수정 후 검증 단계를 줄여 비용을 크게 절감하는 효과를 보였습니다. 행동 인터페이스(action interface)의 경우, 사전 정의된 도구 세트가 약한 모델의 셸(shell) 활용 능력을 보완하여 성공률을 높였지만, bash에 능숙한 강력한 모델은 bash 전용 인터페이스를 통해 여러 작업을 한 번의 호출에 묶어 비용을 절감하고 성공률을 높일 수 있었습니다. 이는 모델의 특성과 작업의 성격에 맞춰 하네스 구성요소를 유연하게 조정해야 함을 시사합니다.
이 연구는 기존의 완성형 코딩 하네스 비교 연구들이 성능 차이의 근본 원인을 파악하기 어려웠던 한계를 넘어, 하네스의 개별 구성요소가 에이전트 성능에 미치는 영향을 명확히 분리하여 분석했다는 점에서 큰 의미를 가집니다. 코딩 에이전트 개발자들은 이 연구 결과를 바탕으로 특정 LLM과 작업 유형에 최적화된 하네스를 설계하여 에이전트의 성공률을 높이고 운영 비용을 절감할 수 있을 것입니다. 이는 장기적으로 소프트웨어 개발 프로세스에 LLM 에이전트를 더욱 효과적으로 통합하는 데 기여할 중요한 통찰을 제공합니다.