인공지능(AI)이 자연어 명령을 받아 게임을 생성하는 기술이 발전하고 있지만, 생성된 게임이 실제로 작동하는지는 또 다른 문제입니다. 최근 arXiv에 발표된 연구에 따르면, AI가 생성한 게임 프로젝트가 실제 게임 엔진에서 오류 없이 실행되는지 여부(strict-launch)를 기준으로 모델을 훈련했을 때, 게임 생성 품질이 크게 향상되는 것으로 나타났습니다. 이는 단순히 점수를 높이는 것이 아니라, 실제 기능하는 결과물을 만드는 데 초점을 맞춘 새로운 접근 방식입니다.
연구팀은 14B(140억) 매개변수 모델(Qwen3-14B+LoRA)을 활용해 GameCraft-Bench 데이터셋에서 실험했습니다. 이 데이터셋은 자연어 설명을 완전한 고도(Godot) 프로젝트로 변환하는 벤치마크입니다. '실행 가능성'을 기준으로 모델을 미세조정(fine-tuning)하자, 이전에 학습하지 않은 네 가지 게임 유형에서 성공적인 게임 생성률이 후보당 8.8%에서 42.2%로 급증했습니다. 또한, 최상의 K개 후보 중 25개 게임 모두를 성공적으로 생성하는 '최고의 K 커버리지'는 18/25에서 25/25(최대치)로 향상되었습니다. 이러한 개선은 단순히 훈련 데이터를 늘린 결과가 아니며, 실행 가능성 검증이라는 '필터'의 정확성이 핵심적인 역할을 했음이 밝혀졌습니다.
이 연구는 AI 코드 생성 분야에 중요한 시사점을 던집니다. AI 모델이 무엇을 '학습'하는지는 어떤 기준으로 '검증'하는지에 달려있다는 것을 명확히 보여주기 때문입니다. 주관적인 평가나 프록시 지표에 의존하는 대신, 실제 실행이라는 객관적이고 조작 불가능한 검증 기준을 적용함으로써 AI는 훨씬 더 실용적이고 기능적인 결과물을 만들어낼 수 있습니다. 이는 게임뿐만 아니라 다양한 소프트웨어 코드 생성 AI 개발에 있어 '검증자(verifier)가 곧 커리큘럼(curriculum)'이라는 원칙을 제시하며, AI가 생성하는 결과물의 신뢰성과 유용성을 높이는 데 기여할 것입니다.