대규모 언어모델(LLM)을 특정 작업에 맞춰 미세조정(fine-tuning)할 때, 방대한 데이터 중에서 어떤 데이터를 선택하느냐는 훈련 비용과 최종 모델 성능에 결정적인 영향을 미칩니다. 기존의 데이터 선택 방법들은 주로 데이터 자체의 품질이나 다양성에 초점을 맞추어 데이터를 선별했지만, 이는 타겟 모델의 현재 능력 분포와 데이터 간의 상호작용을 충분히 고려하지 못한다는 한계가 있었습니다.
최근 발표된 '데이터-DPO(Data-DPO)'는 이러한 문제를 해결하기 위해 타겟 모델 중심의 지도 미세조정(SFT) 데이터 선택 방식을 제안합니다. 이 방법은 모델이 각 샘플에 대해 보이는 국부적인 훈련 피드백을 단일 단계 프로빙(one-step probing)을 통해 관찰하고, 샘플 간의 활성화(activation) 차이를 쌍별 데이터 선호도(pairwise data preferences)로 변환합니다. 이후 경량 보상 모델(lightweight reward model)을 훈련시켜 타겟 모델이 선호하는 데이터 특성을 학습하고, 최종적으로는 타겟 모델 선호도, 외부 품질 점수, 그리고 데이터 다양성을 종합적으로 고려하여 안정적이고 효과적인 훈련 데이터셋을 구축합니다. '비전-플랜(Vision-Flan)' 및 'LLaVA-CoT' 같은 모델에 대한 실험 결과, 데이터-DPO는 다양한 데이터 예산(data budget) 하에서 기존 데이터 선택 기준선들을 일관되게 능가했으며, 심지어 전체 데이터를 사용한 훈련 성능보다도 우수함을 입증했습니다.
이러한 데이터-DPO의 등장은 LLM 미세조정의 효율성을 혁신적으로 개선할 잠재력을 가집니다. 특히 제한된 컴퓨팅 자원이나 시간 제약 속에서 최적의 모델 성능을 달성해야 하는 연구자나 개발자들에게 매우 유용할 것입니다. 적은 양의 고품질 데이터로도 충분히 강력한 모델을 만들 수 있게 됨으로써, LLM 개발 및 배포의 진입 장벽을 낮추고, 더 많은 개인과 기업이 혁신적인 AI 애플리케이션을 만들 수 있는 기회를 제공할 것으로 기대됩니다. 이는 LLM의 접근성을 높이고, 특정 도메인에 특화된 소규모 LLM의 등장을 가속화할 수 있습니다.