최근 발표된 아카이브(arXiv) 논문은 인공지능(AI) 모델 훈련의 핵심 기법인 지도 미세조정(SFT: Supervised Fine-Tuning)에서 얻은 교훈들이 정렬 훈련(alignment training), 모델 유기체(model organisms), 토이 모델(toy models) 등 서로 다른 연구 분야에 걸쳐 상호 적용될 수 있음을 보여줍니다. 각 분야가 독립적으로 발전해왔지만, SFT를 통해 동일한 목표를 추구하는 경우가 많으므로, 한 분야의 학습 경험이 다른 분야에도 유용하게 전이될 수 있다는 것이 연구의 핵심입니다.
연구팀은 세 가지 주요 전이 사례를 제시했습니다. 첫째, 행동 일반화에 대한 교훈을 정렬 훈련에서 토이 모델로 가져왔습니다. 이는 특정 행동의 '이유'를 훈련시키는 것이 단순히 행동의 '예시'만으로 훈련하는 것보다 행동의 일반화 능력을 향상시킬 수 있음을 시사합니다. 둘째, 모델 유기체에서 얻은 '능력 보존'에 대한 교훈을 모델-특정 중간 훈련(Model-Spec Midtraining) 정렬 설정에 적용했습니다. 학생 모델이 아닌 다른 모델이 생성한 출력(off-model outputs)으로 SFT를 진행할 경우 모델의 능력이 손상될 수 있는데, 이때 무해한 'on-model' 데이터를 섞어 훈련하면 이러한 손상을 방지하면서도 목표 행동을 학습시킬 수 있었습니다. 셋째, 모델 유기체에서 얻은 '견고성(robustness)' 교훈을 동일한 정렬 설정에 적용한 결과, 후속의 무해한 SFT가 정렬 행동을 지울 수 있지만, 모델의 능력은 보존될 수 있음을 발견했습니다. 이는 능력 보존만으로는 훈련 후에도 행동이 견고하게 유지됨을 보장하지 않는다는 의미입니다.
이러한 연구 결과는 SFT 훈련 기법에 대한 이해를 심화하고, AI 모델의 정렬(alignment) 및 능력 보존(capability preservation) 문제를 해결하는 데 중요한 통찰을 제공합니다. 특히, 서로 다른 연구 분야 간의 기술 교류와 협력이 AI 개발의 전반적인 효율성과 견고성을 높이는 데 필수적임을 강조합니다. 연구자들은 자신의 분야를 넘어 다른 영역의 기법을 적극적으로 차용하고 실험함으로써 AI 기술 발전에 더욱 기여할 수 있을 것입니다.