최근 AI 코딩 비서(coding assistant)의 활용이 늘면서, 대규모 언어모델(LLM)이 특정 개발 도구를 추천하는 경향이 개발자들의 도구 선택에 큰 영향을 미치고 있습니다. 이러한 현상에 주목하여, LLM이 실제 웹 애플리케이션(web application) 구축 시 어떤 개발 도구를 추천하는지 투명하게 측정하는 오픈소스 벤치마크 '프리시즌(Preseason)'이 공개되었습니다. 이 프로젝트는 AI 기반 도구 추천의 투명성과 재현 가능성을 높이는 것을 목표로 합니다.
프리시즌은 웹 앱 개발 프롬프트(prompt) 세트를 고정된 LLM 패널에 실행하고, 각 답변에서 추천된 도구와 서비스를 분석합니다. 데이터베이스(database), 인증(auth), 호스팅(hosting), 분석(analytics), 결제(payments), UI/컴포넌트 라이브러리(UI/component libraries) 등 다양한 카테고리에서 LLM의 추천을 추적하며, 특정 모델이 어떤 도구를 선호하는지, 혹은 '도구 없음'이나 환각(hallucination)을 보이는지 등을 측정합니다. 예를 들어, GPT-4.1이 Supabase, Firebase, Neon, 또는 일반 PostgreSQL 중 어떤 것을 더 자주 추천하는지 등의 질문에 답할 수 있습니다. 이 프로젝트는 Next.js 15, tRPC v11, Drizzle ORM, Supabase, OpenRouter 등을 기술 스택으로 활용하며, 누구나 벤치마크를 직접 실행하고 결과를 검증할 수 있도록 설계되었습니다.
이러한 오픈소스 벤치마크의 등장은 AI 코딩 비서의 영향력이 커지는 현 시점에서 매우 중요합니다. AI 모델의 도구 추천은 개발자 커뮤니티의 도구 채택(adoption) 속도를 블로그나 소셜 미디어보다 훨씬 빠르게 변화시킬 수 있기 때문입니다. 특정 LLM이 특정 데이터베이스나 호스팅 제공업체를 선호한다면, 그 선호도는 해당 AI를 사용하는 모든 개발자에게 확산될 수 있습니다. 프리시즌은 이러한 AI의 '조용한 편향(quiet bias)'이 개발 생태계에 미치는 영향을 투명하게 공개하고, 개발자들이 AI 추천의 배경과 이유를 이해하며 합리적인 도구 선택을 할 수 있도록 돕는다는 점에서 큰 의미를 가집니다. 이는 개발자 도구 시장의 공정성을 확보하고, AI의 영향력을 건전하게 활용하는 데 기여할 것입니다.