AI 에이전트가 코드를 작성하는 시대에도 자바스크립트 프레임워크 선택은 여전히 '느낌'에 의존하는 경향이 있습니다. 개발자 놀런 로슨(Nolan Lawson)은 이러한 관행에 의문을 제기하며, AI 에이전트가 포켓몬(Pokémon) 앱을 개발할 때 각 자바스크립트 프레임워크가 개발 비용, 코드 품질, 유지보수성에 미치는 영향을 직접 벤치마크했습니다. 이 실험은 프레임워크 선택이 단순한 개발자 경험(DX)을 넘어 실제 비용과 효율성에 큰 영향을 미친다는 점을 밝혀냈습니다.
로슨은 클로드 오푸스 5.5(Claude Opus 5.5) AI 에이전트에게 넥스트(Next.js), 눅스트(Nuxt), 스벨트킷(SvelteKit) 등 다양한 자바스크립트 프레임워크를 사용해 포켓몬 앱을 만들도록 지시했습니다. 각 프레임워크별로 5회씩 반복 실험(단, Angular는 3회)을 진행하여 개발 시간, 사용된 토큰(AI 비용), 코드 라인 수, 라이트하우스(Lighthouse) 성능 및 접근성 점수를 측정했습니다. 결과에 따르면, Hono+htmx가 $2.67로 가장 저렴했고, Angular는 $4.97로 가장 비쌌습니다. 이는 AI가 코드를 생성할 때 프레임워크에 따라 최대 두 배 가까이 비용 차이가 발생할 수 있음을 의미합니다.
이번 벤치마크는 AI 시대에 접어들면서 프레임워크 선택의 기준이 변화해야 함을 시사합니다. 과거에는 개발 편의성이나 커뮤니티 규모가 중요했지만, 이제는 AI 에이전트의 효율성과 생성되는 코드의 품질, 그리고 실제 비용까지 고려해야 합니다. 특히 AI 에이전트가 특정 프레임워크를 다루는 데 더 많은 토큰을 소비하거나 오류를 자주 발생시킨다면, 이는 곧 개발 비용 증가로 이어지기 때문입니다. 이 연구는 개발자들이 '느낌'이 아닌 데이터 기반으로 프레임워크를 선택해야 할 필요성을 강조하며, AI 기반 개발 환경에서 최적의 효율성을 달성하기 위한 중요한 통찰을 제공합니다.