현재 대규모 언어모델(LLM)의 성능을 평가하는 방식은 대부분 추상적이고, 모델 개선에 실질적인 도움을 주지 못한다는 한계가 있습니다. 이러한 문제를 해결하기 위해, 새로운 연구에서 'CriticGen'이라는 프레임워크를 제안했습니다. CriticGen은 LLM의 답변 생성 과정을 고려하여 평가를 수행하며, 단순히 점수를 매기는 것을 넘어 모델이 스스로 문제를 진단하고 개선할 수 있는 구체적인 피드백을 제공하는 것을 목표로 합니다.
CriticGen은 먼저 주관적, 객관적, 자체 도출 제약 등 다양한 고수준 범주 아래에서 샘플별로 특화된 평가 차원과 채점 기준을 생성합니다. 이렇게 만들어진 동적인 평가 기준(rubric)은 점수, 평가 이유, 실행 가능한 개선 제안, 그리고 개선된 답변을 함께 도출하는 데 사용됩니다. 이처럼 평가 기준에 기반한 개선(rubric-conditioned refinement) 과정은 모델이 자신의 결함을 정확히 진단하고, 특정 목표에 맞춰 답변을 개선할 수 있도록 돕습니다. 실험 결과에 따르면 CriticGen은 기존 방식보다 더 높은 품질의 평가 기준을 생성하여 관련성/포괄성을 3.33/4.03에서 3.97/4.24로 향상시켰으며, 점수 상관관계에서도 피어슨(Pearson) 0.9556, 스피어만(Spearman) 0.9560으로 최고치를 기록했습니다. 특히, CriticGen의 피드백은 73.17%의 답변을 개선하고 93.28%의 비저하율을 보여, 실제 답변 품질 향상에 매우 효과적임을 입증했습니다.
CriticGen의 등장은 LLM 개발 및 최적화 방식에 중요한 변화를 가져올 수 있습니다. 기존에는 개발자들이 모델의 문제점을 파악하고 개선 방향을 설정하는 데 어려움을 겪었지만, CriticGen과 같은 세분화되고 실행 가능한 피드백 시스템은 이러한 과정을 훨씬 효율적으로 만들 것입니다. 이는 LLM의 성능 향상 속도를 가속화하고, 더욱 정교하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것으로 기대됩니다. 궁극적으로 사용자들은 더 정확하고 유용한 LLM 답변을 경험하게 될 것입니다.