최근 AI 스타트업 하모닉(Harmonic)이 인공지능(AI) 모델의 성능을 측정하는 벤치마크 방식에 대해 중요한 제언을 했습니다. 이들은 현재 널리 사용되는 자동화된 벤치마크 시스템이 AI의 실제 능력을 제대로 반영하지 못하며, 대신 인간 전문가가 직접 AI의 답변을 평가하는 방식이 훨씬 더 정확하고 신뢰할 수 있다고 주장합니다.
하모닉의 주장은 현재 AI 업계가 대규모 언어모델(LLM)의 성능을 평가할 때 주로 사용하는 자동화된 벤치마크의 한계를 지적합니다. 이 벤치마크들은 주로 객관식 문제나 특정 데이터셋에 대한 정확도 측정에 의존하는데, 이는 AI가 복잡한 추론이나 미묘한 뉘앙스를 이해하는 능력을 제대로 평가하기 어렵다는 것입니다. 예를 들어, AI가 생성한 텍스트의 창의성, 공감 능력, 또는 특정 맥락에서의 적절성 등은 기계적인 점수로는 측정하기 힘든 영역입니다. 하모닉은 이러한 격차를 해소하기 위해 인간 평가자(human evaluator)가 직접 AI의 결과물을 검토하고 점수를 매기는 방식을 제안합니다.
이러한 주장은 AI 개발 및 배포 방식에 상당한 영향을 미칠 수 있습니다. 만약 인간 평가 기반의 벤치마크가 표준으로 자리 잡는다면, AI 개발사들은 단순히 특정 지표를 높이는 데 집중하기보다, 실제 사용자가 만족할 만한 고품질의 결과물을 만드는 데 더 많은 노력을 기울이게 될 것입니다. 이는 AI의 신뢰성과 유용성을 높이는 데 기여할 뿐만 아니라, AI 평가 시장에도 새로운 기회를 창출할 수 있습니다. 궁극적으로는 AI가 인간의 삶에 더 긍정적인 영향을 미치도록 유도하는 중요한 전환점이 될 수 있습니다.