최근 GPT-5.6, Grok 4.5, Claude, Meta의 Muse Spark를 포함한 12개 주요 대규모 언어모델(LLM)의 코딩 성능을 비교하는 심층 벤치마크 테스트가 진행되었습니다. 이 모델들은 둠(Doom) 스타일의 레이캐스터, 3D 루빅스 큐브, 계산기, 콘웨이의 생명 게임(Game of Life) 등 총 4가지 애플리케이션을 직접 개발하며 그 능력을 겨뤘습니다. 각 모델은 5번의 시도를 통해 앱을 만들었으며, 성공률, 개발 비용, 평균 지연 시간(latency) 등이 상세하게 측정되어 실제 개발 환경에서의 유용성을 평가했습니다.
이번 벤치마크는 지난 테스트의 피드백을 반영하여 오픈소스 모델인 GLM-5.2, Qwen 3.7 Plus, DeepSeek V4 Pro, Kimi K2.6도 포함시켰습니다. 테스트 결과, 레이캐스터 개발에서는 GPT-5.6 솔(Sol) 버전이 가장 일관되고 우수한 결과를 보였으며, Grok 4.5는 가격 대비 훌륭한 대안으로 평가받았습니다. 특히 메타(Meta)의 뮤즈 스파크(Muse Spark) 1.1은 일부 성공적인 시도에서 놀라운 성능을 보여주기도 했습니다. 반면, 3D 루빅스 큐브 개발에서는 클로드 페이블(Claude Fable) 5가 5번의 시도 모두 완벽한 결과를 내며 가장 뛰어난 성능을 입증했고, GPT는 레이캐스터에서의 강세에도 불구하고 예상보다 저조한 성적을 기록했습니다. 클로드 오푸스(Claude Opus) 4.8은 루빅스 큐브에서 단 한 번도 완벽한 결과물을 만들지 못해 의외의 약점을 드러냈습니다.
이러한 벤치마크 결과는 대규모 언어모델(LLM)이 단순 텍스트 생성뿐 아니라 실제 애플리케이션 개발에서도 상당한 잠재력을 가지고 있음을 보여줍니다. 특히 모델별로 강점과 약점이 명확하게 드러나, 개발자들은 특정 작업에 가장 적합한 모델을 선택하는 데 중요한 참고 자료가 될 것입니다. 비용과 성능을 종합적으로 고려할 때, Grok 4.5와 같은 모델은 예산이 제한적인 프로젝트에서 매력적인 대안이 될 수 있으며, 오픈소스 모델의 발전 또한 주목할 만합니다. 앞으로 LLM의 코딩 능력은 더욱 발전하여 소프트웨어 개발 방식에 큰 변화를 가져올 것으로 예상됩니다.