자율 코딩 에이전트가 소프트웨어 개발 작업을 수행하는 방식은 '하네스(harness)'라는 시스템 설계에 따라 크게 달라집니다. 기존 연구들은 하네스를 단일 시스템으로 평가하여 개별 구성 요소의 효과를 명확히 파악하기 어려웠습니다. 이에 최근 발표된 연구는 경량 코딩 하네스를 활용하여 계획(planning), 액션 공간(action space), 컨텍스트 관리(context management) 등 세 가지 핵심 구성 요소가 에이전트 성능에 미치는 영향을 심층적으로 분석했습니다.
연구팀은 네 가지 대규모 언어모델(LLM)을 SWE-Bench Verified 및 Terminal-Bench 2.1 벤치마크에 적용하고, 176가지 설정에서 다양한 컨텍스트 관리 전략, 컨텍스트 윈도우 예산, 그리고 계획 및 액션 공간의 영향을 평가했습니다. 그 결과, 컨텍스트 윈도우 예산이 부족할수록 컨텍스트 관리의 가치가 커지며, 특히 컨텍스트 오버플로우(context overflow) 실패를 방지하는 데 큰 이점이 있음을 발견했습니다. 또한, 규칙 기반 생략(rule-based elision) 후 LLM 기반 요약(summarization)을 적용하는 것이 컨텍스트 관리 전략 중 가장 효율적이었고, 계획은 약한 모델의 정확성을 높이고 강한 모델의 비용을 절감하는 역할을 했습니다. 미리 정의된 도구(predefined tools)는 Bash(배시) 활용 능력이 낮은 모델에 유용했지만, Bash에 능숙한 모델은 Bash 전용 인터페이스로도 효과적으로 작동하며 비용을 크게 절감할 수 있었습니다.
이 연구는 코딩 에이전트의 하네스 설계가 단순히 모델의 역량을 넘어 실제 소프트웨어 엔지니어링 성능에 결정적인 영향을 미친다는 점을 명확히 보여줍니다. 컨텍스트 관리가 실행 궤적을 연장하고, 계획이 궤적의 종료 지점을 변경하며, 액션 공간이 코드 작성의 세분성을 조절한다는 분석은 향후 모델 및 예산에 최적화된 하네스 설계를 위한 중요한 지침을 제공합니다. 이는 개발자들이 코딩 에이전트를 실제 환경에 적용할 때 성능과 비용 효율성을 동시에 고려할 수 있는 실질적인 프레임워크를 제시한다는 점에서 의미가 큽니다.