자기 진화(self-evolving) AI 에이전트가 피드백을 통해 지속적인 상태를 재작성하며 학습하는 방식은 많은 기대를 모으고 있습니다. 하지만 이 에이전트들이 명시적으로 알려주지 않은 '숨겨진 규칙(hidden rule)'을 스스로 학습할 수 있는지에 대한 평가는 부족했습니다. 최근 발표된 연구는 이러한 문제를 해결하기 위해 'CLR-Bench(Curriculum of Latent Rules benchmark)'라는 새로운 벤치마크를 도입하여, AI 에이전트의 규칙 학습 능력을 체계적으로 측정합니다.
CLR-Bench는 각 레벨마다 이전 규칙 위에 새로운 숨겨진 규칙을 추가하는 방식으로 구성됩니다. 예를 들어, 항공사 동맹의 창립 멤버와 같은 웹에 공개된 특정 그룹에 대한 불투명한 레이블(opaque label)에 규칙이 적용됩니다. 에이전트는 하나의 예시 값과 피드백을 통해 추가 멤버 및 비멤버 정보를 얻고, 이를 바탕으로 보지 못한 멤버와 유사한 비멤버를 정확히 식별해야 합니다. 연구팀은 10개 도메인에 걸쳐 20개의 규칙 체인(chains)을 구축하고, 6가지 최신 자기 진화 방법론을 평가했습니다. 그 결과, 대부분의 모델은 숨겨진 규칙을 학습하는 데 어려움을 겪었으며, 심지어 원시적인 기록 유지 방식보다도 성능이 떨어지는 경우도 있었습니다. 다만, GPT-6-Sol과 같은 강력한 기반 모델(base model)을 활용했을 때 ACE와 Dynamic Cheatsheet 같은 방법론은 피드백만으로 78%의 정확도를 달성하며 뛰어난 학습 능력을 보여주었습니다.
이 연구는 AI 에이전트의 진정한 학습 능력, 특히 명시적 지시 없이도 복잡한 규칙을 추론하고 적용하는 능력이 여전히 초기 단계에 있음을 시사합니다. CLR-Bench는 이러한 능력을 객관적으로 측정하는 표준 도구로서, 미래 AI 에이전트 개발에 중요한 방향을 제시할 것입니다. 강력한 기반 모델의 성능이 에이전트의 규칙 학습 능력에 결정적인 영향을 미친다는 점은, 고성능 대규모 언어모델(LLM)의 중요성을 다시 한번 강조하며, 앞으로 에이전트의 자율 학습 능력을 향상시키기 위한 연구가 더욱 활발해질 것으로 예상됩니다.