최근 arXiv에 발표된 세르게이 로디오노프(Sergey Rodionov)의 연구는 인공지능(AI) 코딩 에이전트가 복잡한 문제 해결 능력, 특히 ARC-AGI-3와 같은 추상적 추론 과제에서 어떤 요소들이 핵심적인 역할을 하는지 심층적으로 탐구했습니다. 기존 ARC-AGI-3 에이전트의 성능이 ‘실행 가능한 세계 모델링(executable world modeling)’, ‘예정된 간소화(scheduled simplification)’, 그리고 ‘정확한 재생 검증(exact replay verification)’이라는 세 가지 요소의 조합에서 비롯되었으나, 각 요소의 기여도가 불분명했던 점을 해소하고자 했습니다.
연구팀은 코덱스(Codex) 기반의 네 가지 에이전트 변형을 구축하여 GPT-5.4, GPT-5.5, 그리고 GPT-5.6-sol 모델과 함께 평가했습니다. 이 변형들은 텍스트 기반의 기본 에이전트, 유연한 인터페이스를 가진 실행 가능한 세계 모델(검증 기능 없음), 여기에 간소화 기능이 추가된 모델, 그리고 고정된 인터페이스와 정확한 재생 검증 기능까지 포함된 완전한 형태의 에이전트였습니다. 주요 결과로는, 모든 에이전트 변형이 더 강력한 대규모 언어모델(LLM)과 높은 추론(inference) 노력을 투입했을 때 성능이 향상된다는 점이 가장 두드러졌습니다. 개별 구성 요소의 영향은 설정에 따라 달랐는데, 특히 텍스트 기반 에이전트가 유연한 인터페이스의 실행 가능한 에이전트보다 더 나은 성능을 보인 경우도 있어, 무조건 실행 가능한 모델이 유리한 것은 아니라는 점을 시사했습니다. 간소화 기능은 대부분의 설정에서 성능을 개선했으며, 완전한 검증(verification) 기능은 모든 설정에서 가장 높은 순위를 기록했지만, 상당한 자원을 소모하는 것으로 나타났습니다.
이 연구는 AI 에이전트의 설계와 최적화에 중요한 통찰을 제공합니다. 특히, 복잡한 문제 해결을 위해 어떤 구성 요소에 자원을 집중해야 하는지에 대한 실질적인 가이드라인을 제시합니다. GPT-5.6-sol을 사용한 후속 연구에서는 검증 기능이 있는 에이전트가 모든 공개 ARC-AGI-3 게임을 완전히 해결하고, 인간 기준선보다 적은 행동으로 약 99%의 RHAE(Relative Human Action Efficiency)를 달성했습니다. 이는 AI 에이전트가 인간 수준의 추상적 추론 능력을 넘어설 잠재력을 가지고 있음을 보여주지만, 아직 미공개 데이터셋에 대한 성능 검증이 남아있어 신중한 해석이 필요합니다. 궁극적으로 이 연구는 차세대 AI 에이전트가 더욱 효율적이고 강력하게 복잡한 문제를 해결할 수 있도록 하는 설계 원칙을 확립하는 데 기여할 것입니다.