최근 한 연구팀이 추상적 추론 및 일반화 능력 벤치마크인 ARC-AGI-1에서 인상적인 성과를 거두었습니다. 이들은 고가의 최첨단 모델이나 벤치마크 전용 미세조정(fine-tuning) 없이, 저비용의 오픈소스 대규모 언어모델(LLM)인 딥시크 V3.2(DeepSeek V3.2)를 활용해 추론 능력을 대폭 향상시키는 새로운 에이전트 아키텍처를 선보였습니다. 이는 엄격한 예산 제약 하에서도 순수 아키텍처 설계만으로 AI의 추상적 사고 능력을 끌어올릴 수 있음을 보여줍니다.
연구팀은 '탐색-정의 파이프라인(Explorer-Definer Pipeline)'과 '반사적 오케스트레이터(Reflective Orchestrator)'라는 두 가지 핵심 에이전트 아키텍처를 개발했습니다. 탐색-정의 파이프라인은 패턴 발견과 실행 가능한 변환 합성 단계를 명확히 분리하여 2단계 에이전트 파이프라인으로 구현됩니다. 여기에 반사적 오케스트레이터는 이전 가설이 실패할 경우 새로운 변환을 자율적으로 탐색하도록 파이프라인을 강화합니다. 이 파이프라인은 ARC-AGI-1 공개 400개 작업 평가 세트에서 작업당 0.25달러의 비용으로 57.50%의 통과율(pass@2)을 달성했으며, 오케스트레이터는 작업당 0.62달러로 67.25%의 통과율을 기록했습니다. 이는 벤치마크 전용 훈련이나 과도한 테스트 시간 연산 없이도 초기 15.50%의 기준선 대비 약 52%포인트의 성능 향상을 이끌어낸 결과입니다.
이 연구는 AI 모델의 추상적 추론 능력을 향상시키는 데 있어 단순히 모델의 크기나 연산량에 의존하기보다는, 효율적인 에이전트 아키텍처 설계가 중요하다는 점을 시사합니다. 특히 저비용 오픈소스 모델을 활용하여 높은 성능을 달성했다는 점은, 제한된 자원을 가진 연구자나 개발자들도 복잡한 추론 문제를 해결할 수 있는 가능성을 열어줍니다. 이는 인공 일반 지능(AGI) 개발의 중요한 단계 중 하나인 추상적 사고 및 일반화 능력 연구에 새로운 방향을 제시하며, 더욱 비용 효율적이고 접근성 높은 AI 솔루션 개발에 기여할 것으로 기대됩니다.