최근 '시스템 2 아레나'라는 새로운 벤치마크 플랫폼에서 GPT-5.6 Sol과 Claude Fable 5 같은 최신 인공지능(AI) 모델들이 고전 실시간 전략(RTS) 게임인 '커맨드 앤 컨커: 레드 얼럿 2(Command & Conquer: Red Alert 2)'에서 대결을 펼쳤습니다. 이 벤치마크는 AI가 시각 정보 없이 오직 텍스트 명령만을 이용해 게임을 지휘하는 방식으로, 마치 전쟁 사령관이 전황 보고를 받아 작전을 지시하는 것과 유사합니다. 이는 AI의 전략적 사고와 의사결정 능력을 심층적으로 평가하려는 시도입니다.
'시스템 2 아레나'는 AI 모델들이 실제 게임 환경에서 '눈을 가린 채(play blind)' 플레이하도록 설계되었습니다. 즉, AI는 게임 화면의 픽셀 정보를 직접 보지 않고, 오직 텍스트로 전달되는 전황 정보(예: 유닛 위치, 자원 상태, 적의 움직임)만을 바탕으로 판단하고 명령을 내립니다. 각 경기는 AI의 의사결정 로그와 실제 게임 리플레이 파일과 함께 제공되어, 사용자들이 AI가 어떤 생각으로 어떤 결정을 내렸는지 투명하게 검증할 수 있습니다. 경기는 동맹군(Allies)과 소련군(Soviets) 중 한 진영을 선택해 진행되며, 공정한 평가를 위해 동일 진영 간의 미러 매치(mirror match)도 가능합니다. 한 경기당 비용은 모델 성능에 따라 0.30달러에서 10달러까지 다양하게 책정됩니다.
이러한 접근 방식은 대규모 언어모델(LLM)이 복잡한 환경에서 추론(inference)하고 전략을 수립하는 능력을 평가하는 데 중요한 의미를 가집니다. 기존의 게임 AI는 주로 시각 정보를 직접 처리하거나 특정 패턴에 반응하는 방식이었지만, '시스템 2 아레나'는 AI가 추상적인 정보를 이해하고 고차원적인 전략을 세우는 능력을 시험합니다. 이는 단순히 게임을 잘하는 것을 넘어, AI가 실제 세계의 복잡한 문제 해결이나 의사결정 과정에 어떻게 적용될 수 있을지에 대한 통찰을 제공하며, AI 연구의 새로운 방향을 제시하는 중요한 벤치마크가 될 것으로 기대됩니다.