대규모 언어모델(LLM)이 복잡한 작업을 수행하는 능력이 향상되고 있지만, 장기적인 관점에서 전략적 추론 능력을 평가하는 연구는 부족했습니다. 기존의 에이전트 벤치마크들은 대부분 짧고 단편적인 과제에 집중되어 있어, LLM의 장기적인 의사결정 능력을 분석하기 어려웠습니다. 이러한 한계를 극복하기 위해, 최근 스콧 C. 로우(Scott C. Lowe) 연구팀은 인기 덱 빌딩 게임 '슬레이 더 스파이어(Slay the Spire, StS)'를 활용한 새로운 벤치마크 '스파이어벤치(SpireBench)'를 발표했습니다.
스파이어벤치는 초반 결정이 장기적인 성공에 큰 영향을 미치는 슬레이 더 스파이어의 특성을 활용하여, LLM의 전략적 사고를 심층적으로 평가합니다. 연구팀은 20개의 LLM을 게임의 최고 난이도로 플레이시켰으며, 그 결과 최신 모델들이 휴리스틱(heuristic) 기반의 기준선을 뛰어넘고 평균적인 인간 플레이어와 비슷한 수준의 성능을 보였습니다. 하지만 전문가 수준의 플레이어와는 여전히 큰 격차를 보였는데, 특히 게임이 진행될수록 이 격차는 더욱 벌어졌습니다. 가장 강력한 모델조차 첫 번째 액트(Act)에서는 전문가만큼 승리했지만, 이후에는 뒤처지는 경향을 보였습니다. 모델의 강점은 개별 전투를 잘 수행하는 데 있었지만, 전체 게임 운영에서 장기적인 위험을 제대로 판단하지 못하고 체력을 보존하는 데 급급하여 성장의 기회를 놓치는 약점을 드러냈습니다.
이번 연구는 LLM이 게임에 대한 사전 지식을 활용하는 경향이 있으며, 자체적으로 생성한 기억(memory)을 통해 학습하는 능력은 아직 미흡하다는 점을 시사합니다. 모델들이 기록하는 기억은 종종 부정확하고 지나치게 신중한 경향이 있었습니다. 스파이어벤치는 LLM이 어디서, 왜 실패하는지를 정확히 파악할 수 있는 도구를 제공하며, 장기적인 전략 추론 능력을 평가하는 데 있어 중요한 새로운 벤치마크가 될 것으로 기대됩니다. 이는 LLM의 에이전트(agent)로서의 역량을 한 단계 더 발전시키는 데 기여할 것입니다.