넷리파이(Netlify)가 최근 흥미로운 실험 결과를 공개했습니다. 하나의 커피숍 웹사이트 생성 프롬프트를 11개 AI 모델에 각각 3회씩 실행한 결과, 모델마다 디자인 품질, 콘텐츠 풍부함, 그리고 사용된 크레딧 비용이 크게 차이 났습니다. 이 주관적인 비교는 단순한 벤치마크를 넘어 실제 AI 기반 웹 개발 환경에서 모델 선택이 얼마나 중요한지 시사합니다.
실험 결과, 앤트로픽(Anthropic)의 클로드 오푸스 5(Claude Opus 5)는 한 번 실행에 1,055 크레딧을 소모하며 가장 정교하고 세부적인 디자인을 선보였습니다. 반면, 오픈AI(OpenAI)의 GPT 5.6 테라(Terra)는 평균 39 크레딧으로 저렴하면서도 독특한 시각적 언어를 보여주었습니다. 구글(Google)의 제미니 3.6 플래시(Gemini 3.6 Flash)는 이전 세대보다 현대적인 결과를 냈고, GLM 5.2나 딥시크(DeepSeek) 계열은 낮은 비용과 큰 결과 편차를 보였습니다. 특히 딥시크 V4 플래시 0731(DeepSeek V4 Flash 0731)은 평균 2.4 크레딧으로 가장 저렴했지만, 결과물의 편차가 커 여러 번 시도해야 했습니다. 넷리파이는 오픈라우터(OpenRouter)와의 파트너십을 통해 AI 게이트웨이(AI Gateway)에서 다양한 모델을 선택하고, 에이전트 러너스(Agent Runners)를 통해 Kimi K3, GLM 5.2 등 최신 오픈 모델을 활용할 수 있도록 지원하고 있습니다.
이러한 결과는 AI를 활용한 웹 개발에서 비용 효율성과 결과물의 품질 사이의 균형을 찾는 것이 중요함을 보여줍니다. 초기 아이디어 단계나 단순한 정적 사이트의 경우, 저비용 모델을 여러 번 반복적으로 사용해 개선하는 방식이 효과적일 수 있습니다. 하지만 복잡한 웹 애플리케이션의 경우, 단순히 디자인이나 문구 생성 능력을 넘어 플랫폼 기능 적용, 자체 검증, 문제 수정 능력 등 에이전트의 종합적인 역량이 더욱 중요해집니다. 넷리파이는 자체 개발한 오픈소스 평가 도구 AXIS를 통해 모델과 에이전트의 기능 정확성을 자동 평가하여, 실제 프로덕션 환경에 적합한 모델을 선별하고 있습니다. 결국, AI 모델 선택은 프로젝트의 복잡성, 예산, 그리고 요구되는 품질 수준에 따라 전략적으로 이루어져야 할 것입니다.