대규모 언어모델(LLM)을 특정 작업에 맞춰 미세조정(fine-tuning)할 때, 지금까지는 사람이 이해할 수 있는 형태의 텍스트 데이터가 필수적이라고 여겨져 왔습니다. 하지만 최근 arXiv에 발표된 연구는 이러한 통념에 도전하며, 사람이 읽을 수 없는 형태의 모델 조건부 훈련 표현(model-conditioned training representations)만으로도 LLM 미세조정이 효과적일 수 있음을 시사합니다.
연구팀은 DASA(Desired-Update-Aligned Synthetic Data)라는 새로운 방법론을 제안했습니다. DASA는 고정된 참조 모델로부터 활성화-경사(activation-gradient) 피드백을 받아 연속적인 합성 입력 임베딩(synthetic input embeddings)을 최적화합니다. 이는 원본 텍스트를 재구성하거나 언어적 유창성을 목표로 하기보다는, 모델 적응에 유용한 업데이트를 직접적으로 유도하는 방식입니다. 이렇게 생성된 임베딩은 다운스트림 미세조정에 직접 사용되며, 사람이 읽을 수 있는 토큰(token) 형태는 정성적 분석을 위해서만 활용됩니다. Llama 및 Qwen 계열의 1B에서 32B 매개변수 모델 6종을 대상으로 지식, 수학 추론, 코드 생성, 상식 추론 등 6가지 벤치마크에서 실험한 결과, DASA는 LoRA(Low-Rank Adaptation) 설정에서 원본 자연어 데이터와 비슷한 성능을 보였고, 일부 구성에서는 이를 능가하기도 했습니다. 또한, 기존 방법론인 GRADMM 대비 대부분의 비교에서 우수한 성능을 나타냈으며, 유사한 GPU 메모리 사용량으로 3.6~4.9배 빠른 학습 속도를 달성했습니다.
이 연구 결과는 LLM 미세조정의 효율성과 유연성을 크게 향상시킬 수 있는 중요한 의미를 가집니다. 사람이 직접 데이터를 가공하고 정제하는 데 드는 시간과 비용을 절감할 수 있으며, 비정형 데이터나 특정 도메인의 전문 데이터를 활용하는 새로운 가능성을 열 수 있습니다. 또한, 데이터 프라이버시나 보안이 중요한 환경에서 원본 텍스트를 노출하지 않고도 모델을 효과적으로 훈련시킬 수 있는 길을 제시하여, LLM 기술의 적용 범위를 더욱 넓힐 잠재력을 가지고 있습니다.