최근 공개된 연구에 따르면, 소프트웨어 엔지니어링(SWE) 작업을 수행하는 인공지능 에이전트의 학습 효율을 높이는 새로운 방법론인 '행동 자기 보상(Behavioral Self-Rewarding, BSR)'이 제시되었습니다. 이는 기존의 검증 가능한 보상(verifiable reward) 방식이 성공/실패라는 이진(binary) 결과만을 제공하여 디버깅 과정의 미묘한 품질 차이를 반영하지 못하는 한계를 극복하기 위함입니다. BSR은 에이전트 스스로 자신의 디버깅 궤적을 평가하고, 이를 통해 추가적인 학습 신호를 생성하여 전반적인 작업 성능을 개선합니다.
행동 자기 보상(BSR)은 별도의 보상 모델을 훈련할 필요 없이, 현재 정책(policy)을 재활용하여 동일한 검증 결과를 가진 궤적들 사이의 관찰 가능한 디버깅 행동을 비교합니다. 이 방법은 쌍별 선호도(pairwise preferences)를 집계하여 작업별 점수를 매기고, 이를 보조 보상(auxiliary rewards)으로 변환합니다. 이는 검증자가 정의한 통과/실패 순서를 유지하면서도 보상에 대비(contrast)를 도입합니다. 즉, 에이전트가 이미 수집된 궤적에서 추가적인 감독(supervision)을 얻을 수 있게 하며, 새로운 환경 상호작용 없이도 학습 데이터를 풍부하게 만듭니다. 이 연구는 Qwen3-14B 및 Qwen3-32B 모델을 활용한 SWE-bench Verified 및 SWE-bench-Live 실험에서 일관된 성능 향상을 보여주며, 정책 자체의 비교 판단이 소프트웨어 엔지니어링 에이전트 훈련을 위한 보완적인 학습 신호로 유용함을 입증했습니다.
이러한 행동 자기 보상(BSR) 방식은 소프트웨어 개발 및 디버깅 자동화 분야에 중요한 의미를 가집니다. 기존에는 단순히 테스트 통과 여부로만 에이전트의 성능을 평가하고 학습시켰지만, BSR은 '어떻게' 문제를 해결했는지에 대한 질적인 평가를 가능하게 합니다. 이는 에이전트가 단순히 정답을 찾는 것을 넘어, 보다 효율적이고 우아한 코드를 작성하거나 복잡한 버그를 더 효과적으로 디버깅하는 능력을 키울 수 있도록 돕습니다. 궁극적으로는 개발자의 개입을 최소화하면서도 고품질의 소프트웨어를 생산하는 인공지능 시스템 개발을 가속화할 잠재력을 가지고 있습니다.