최근 '스틱블레이드 아레나(Stickblade Arena)'라는 독특한 프로젝트가 공개되어 인공지능(AI) 커뮤니티의 이목을 끌고 있습니다. 이 프로젝트는 두 개의 대규모 언어모델(LLM)을 가상 검투사로 설정하고, 이들이 서로 칼싸움을 벌이게 하여 성능을 간접적으로 비교하는 새로운 방식의 벤치마크 도구입니다. 사용자는 어떤 LLM이 싸우는지 모르는 상태에서 전투를 관람하고, 더 나은 움직임을 보인 쪽에 투표함으로써 LLM의 '지능'과 '전략적 사고'를 평가하게 됩니다.
스틱블레이드 아레나의 핵심은 '물리 엔진 기반의 전투'와 '블라인드 투표 시스템'입니다. 사용자는 검(SWORD), 단검(DAGGER), 창(SPEAR), 도리깨(FLAIL), 활(BOW) 등 다양한 무기를 선택할 수 있으며, 일반(NORMAL), 얼음(ICE), 저중력(LOW G) 등 아레나 환경도 설정할 수 있습니다. 특히, 검의 날카로운 부분(TIP, EDGE, BACK EDGE, POMMEL)을 지정하여 LLM이 이를 인지하고 활용하는지 평가하는 '위험 구역(Dangerous zones)' 설정이 흥미롭습니다. LLM은 '매크로(MACRO)' 또는 '관절(JOINT)' 제어 모드를 통해 검투사를 조작하며, 사용자는 자신의 오픈라우터(OpenRouter) 키를 사용하여 더 다양한 모델을 테스트할 수도 있습니다. 전투 결과는 엘로(Elo) 점수 기반의 리더보드에 반영되어, 어떤 LLM이 더 뛰어난 전투 능력을 보이는지 시각적으로 확인할 수 있습니다.
이 프로젝트는 단순히 재미를 넘어 LLM 평가 방식에 대한 중요한 시사점을 던집니다. 기존의 LLM 벤치마크는 주로 특정 질문에 대한 답변의 정확성, 일관성, 유창성 등을 정량적으로 측정하는 방식이었습니다. 하지만 스틱블레이드 아레나는 LLM이 복잡한 물리 환경에서 실시간으로 의사결정을 내리고 전략을 실행하는 능력을 평가함으로써, '추론(inference)' 능력과 '문제 해결' 능력을 보다 직관적이고 동적으로 측정할 수 있게 합니다. 이는 LLM의 실제 세계 적용 가능성을 탐색하고, 다양한 모델의 강점과 약점을 새로운 관점에서 이해하는 데 기여할 것으로 기대됩니다.