대규모 언어모델(LLM)의 성능은 학습 데이터의 품질에 따라 결정됩니다. 하지만 LLM이나 에이전트가 학습 데이터를 얼마나 효과적으로 준비하는지 종합적으로 평가할 수 있는 통일된 벤치마크가 부재했습니다. 이러한 문제를 해결하기 위해 'DataPrep-Bench'라는 새로운 벤치마크가 발표되어, LLM 기반 데이터 준비의 두 가지 핵심 역량인 데이터 구축과 데이터 품질 평가를 통합적으로 측정할 수 있는 기준을 제시했습니다.
DataPrep-Bench는 원본 소스를 지도 학습(supervised learning) 데이터로 변환하는 '데이터 구축(data construction)'과, 학습 전 후보 데이터셋의 가치를 예측하는 '데이터 품질 평가(data quality evaluation)'를 모두 다룹니다. 특히, '품질'은 표면적인 텍스트 속성이 아닌, 실제 다운스트림 학습 유용성을 의미합니다. 이 벤치마크는 6개 도메인과 여러 기본 모델을 사용하여 두 가지 역량을 평가하며, 데이터 구축 트랙에서는 동일한 원본 소스를 사용해 생성된 데이터로 기본 모델을 미세조정(fine-tuning)하여 성능을 측정합니다. 연구진은 Dolly-15k와 함께 학습하는 방식과 'Data-Construction-Skill'이라는 스킬 기반 에이전트를 통해 Llama-3.1-8B 금융 도메인에서 Dolly 단독 베이스라인 대비 약 20%p 향상된 성능을 보여주었습니다. 데이터 품질 평가 트랙에서는 '분포 정렬 점수(Distributional Alignment Score, DAS)'를 도입하여 후보 데이터셋과 도메인 프록시 간의 MMD(Maximum Mean Discrepancy)를 측정하는데, DAS는 6개 도메인 중 4개에서 가장 강력한 교차 모델 상관관계를 달성했으며, 수학, 과학, 의료 분야에서 동시에 r > 0.70을 넘는 유일한 지표로 기존 평가 방식들을 능가했습니다.
DataPrep-Bench의 등장은 LLM 기반 데이터 준비 분야의 발전을 위한 중요한 이정표가 될 것입니다. 기존에는 파편화되어 있던 데이터 구축 및 평가 역량을 하나의 통일된 프레임워크 안에서 측정함으로써, 연구자와 개발자들이 LLM의 데이터 준비 능력을 객관적으로 비교하고 개선점을 찾아낼 수 있게 되었습니다. 이는 궁극적으로 더 효율적이고 고품질의 학습 데이터셋을 생성하여, LLM의 전반적인 성능 향상과 다양한 산업 분야에서의 활용 가능성을 넓히는 데 기여할 것으로 기대됩니다.