Snipvote가 매일 주요 뉴스를 6개 대규모 언어모델(LLM)이 요약한 결과물을 블라인드 테스트하는 플랫폼을 선보였습니다. 사용자들은 어떤 모델이 요약했는지 모르는 상태에서 더 나은 요약을 선택하며, 이 투표 결과는 실시간 순위표에 반영됩니다. 이는 단순히 기술적 벤치마크 점수에 의존하는 대신, 실제 사용자들이 선호하는 요약 품질을 기준으로 LLM의 성능을 평가하는 새로운 방식을 제시합니다.
이 플랫폼은 매일 '에이전트 및 추론(Agents & Inference)' 분야의 최신 소식을 다루며, 두 개의 상위 모델이 같은 기사를 요약한 내용을 비교합니다. 예를 들어, '에이전트가 강화 학습(RL)으로 모델을 훈련하는 데 1,300달러가 든다'는 뉴스에 대해 두 가지 요약을 제시하고, 사용자들은 더 명확하고 유용한 요약을 선택합니다. 투표가 끝나면 어떤 모델이 어떤 요약을 생성했는지 공개되어, 사용자들이 각 모델의 강점과 약점을 직접 경험하고 평가할 수 있도록 돕습니다. 현재 라마(Llama)와 미스트랄 라지(Mistral Large) 같은 주요 모델들이 경쟁하고 있습니다.
이러한 접근 방식은 LLM 개발자와 사용자 모두에게 중요한 의미를 가집니다. 개발자들은 실제 사용자의 피드백을 통해 자신들의 모델이 어떤 부분에서 강점을 보이고 개선이 필요한지 파악할 수 있습니다. 또한, 사용자들은 특정 작업에 가장 적합한 LLM을 선택하는 데 있어 객관적이고 실용적인 정보를 얻을 수 있습니다. 벤치마크 점수가 아닌 '실제 사용성'에 기반한 평가는 LLM 시장의 투명성을 높이고, 궁극적으로 더 사용자 친화적인 AI 모델 개발을 촉진할 것으로 기대됩니다.