최신 대규모 언어모델(LLM)들이 실제 앱 개발 능력에서 어떤 차이를 보이는지 흥미로운 비교 결과가 나왔습니다. 레이캐스터 미로, 3D 루빅스 큐브, 계산기, 콘웨이의 생명 게임(Conway’s Game of Life) 등 4가지 앱을 12개 모델에 각각 5회씩 만들게 한 결과, GPT-5.6 Sol과 Claude Fable 5가 복잡한 과제에서 뛰어난 성능을 보이며 선두를 다퉜습니다. 이는 단순히 텍스트를 생성하는 것을 넘어, 실제 작동하는 코드를 만들어내는 LLM의 잠재력을 엿볼 수 있는 실험입니다.
구체적으로 살펴보면, 둠(Doom) 스타일의 레이캐스터 미로 제작에서는 GPT-5.6 Sol이 5회 시도 모두 성공하며 가장 좋은 평가를 받았습니다. 반면, 3D 루빅스 큐브 과제에서는 Claude Fable 5가 유일하게 5회 모두 완벽하게 성공하며 탁월한 능력을 입증했습니다. 이처럼 복잡하고 새로운 유형의 과제에서는 최상위 플래그십 모델들의 우위가 뚜렷했습니다. 하지만 계산기처럼 단순하고 널리 구현된 앱이나, 콘웨이의 생명 게임처럼 예제 코드가 풍부한 과제에서는 Qwen 3.7 Plus나 GLM-5.2 같은 오픈 웨이트 모델들도 훨씬 낮은 비용으로 경쟁력 있는 결과를 만들어냈습니다. 특히 Grok 4.5는 일부 과제에서 Claude Opus 4.8과 비슷한 수준의 성능을 보여주면서도 저렴한 대안이 될 수 있음을 시사했습니다.
이번 비교는 단순히 모델의 성능 순위를 매기는 것을 넘어, LLM 활용 전략에 중요한 시사점을 제공합니다. 모든 과제에서 하나의 '최고' 모델이 존재하지 않으며, 개발하려는 앱의 복잡성과 요구 사항에 따라 가장 적합한 모델을 선택하는 것이 중요합니다. 복잡하고 혁신적인 앱을 개발할 때는 GPT-5.6 Sol이나 Claude Fable 5와 같은 최상위 모델이 효과적일 수 있지만, 이미 잘 알려진 기능을 구현하거나 비용 효율성을 중시할 때는 저렴한 오픈 웨이트 모델이나 Grok 4.5와 같은 대안이 더 현명한 선택이 될 수 있습니다. 이는 개발자들이 LLM을 활용한 프로젝트를 기획할 때, 단순히 최신 모델만을 고집하기보다 과제의 특성과 비용-효율성을 종합적으로 고려해야 함을 보여줍니다.