인공지능(AI) 언어 에이전트가 자연어 피드백을 통해 얼마나 성능을 향상할 수 있는지에 대한 새로운 연구 결과가 발표되었습니다. 이 연구는 단순히 반복 시도만으로 얻는 개선을 넘어, 피드백이 실제로 유의미한 발전을 이끄는 조건을 분석했습니다. 흥미롭게도, 다중 턴(multi-turn) 대화 환경에서 최종 정확도 향상이 반드시 피드백의 효과만을 의미하는 것은 아니며, 재샘플링(resampling)이나 형식 교정(format correction) 등 다른 요인도 작용할 수 있음을 지적합니다.
연구팀은 옴니-MATH(Omni-MATH), 코드포스(Codeforces) 등 다양한 데이터셋을 활용해 13개의 오픈소스 모델을 '학생'과 '교사' 역할로 설정하고 통제된 실험 프로토콜을 도입했습니다. 외부 피드백, 자체 피드백, 그리고 아무런 지침 없는 자체 개선 방식을 비교하며 상호작용 기록, 작업 난이도, 교사의 특권 정보 접근 여부 등을 다양하게 조절했습니다. 그 결과, 다중 턴 개선이 피드백 사용의 증거가 아닌 경우가 많았으며, 자체 생성 피드백은 지침 없는 자체 개선보다 큰 이점을 제공하지 못했습니다. 반면, 강력한 외부 교사(teacher) 모델이 제공하는 피드백은 훨씬 큰 개선을 가져왔는데, 이는 유용한 피드백이 단순히 '다시 시도하라'는 일반적인 지침을 넘어선 구체적인 가이드를 제공해야 함을 시사합니다.
이번 연구는 상호작용을 통한 성능 향상이 교사의 정체성보다는 피드백을 활용하는 학생 모델의 능력에 더 크게 좌우된다는 점을 명확히 보여줍니다. 물론 교사 선택도 중요하지만, 고정된 학생 모델에게는 학생의 피드백 활용 능력이 핵심이라는 것입니다. 이는 피드백 기반 에이전트를 평가할 때 단순히 피드백의 유무가 아니라, 피드백을 실제로 행동으로 옮길 수 있는 능력이 중요한 병목 현상임을 의미합니다. 연구팀은 이러한 통제된 학생-교사 평가 프레임워크를 공개하여 향후 AI 연구에 기여할 예정입니다. 이 결과는 AI 모델 개발자들이 피드백 시스템 설계 시 학생 모델의 '학습 능력'에 더 집중해야 함을 강조합니다.