고정된 대규모 언어모델(LLM)을 개별 사용자에게 맞춤화하는 방법으로 프롬프트 공간 메타 학습(Prompt-Space Meta-Learning)이 주목받아 왔습니다. 이 방식은 각 사용자를 하나의 작업으로 보고, 소수의 사용자 상호작용 데이터를 통해 해당 사용자에 맞춰 LLM을 구성하는 자연어 적응 정책을 학습하는 것을 목표로 합니다. 백본 모델을 변경하지 않고 프롬프트 최적화 기술을 재활용할 수 있어 매력적인 접근법으로 여겨졌습니다.
그러나 최근 아카이브(arXiv)에 발표된 논문은 이러한 접근 방식의 한계를 지적합니다. 연구팀은 '뮤즈(Muse)'라는 시스템을 통해 메타 학습된 적응 프롬프트가 새로운 사용자에게 얼마나 잘 전이되는지 실험했습니다. 라MP-2(LaMP-2) 분류 및 라MP-3(LaMP-3) 평점이라는 두 가지 표준 개인화 벤치마크에서 200명 이상의 사용자를 대상으로 테스트한 결과, 뮤즈는 기존의 초기 프롬프트나 잘못된 사용자-지원 쌍으로 학습된 대조군보다 유의미하게 개선되지 않았습니다. 특히 평점 작업에서는 단순한 소수샷 검색(few-shot retrieval) 방식에 비해 성능이 떨어지는 것으로 나타났습니다.
연구진은 이러한 결과를 '메타 목적 함수 붕괴(meta-objective collapse)'라는 단일 메커니즘으로 설명합니다. 즉, 메타 검증 목적 함수가 사용자-지원 간의 실제 대응 여부와 통계적으로 무관하게 작동하여, 사용자 간 전이 가능한 적응 능력을 최적화하지 못하고 대신 일반적인 지시문의 완성도나 검증 데이터에 대한 과적합(overfitting)만 보상한다는 것입니다. 이 연구는 고정된 LLM의 사용자 개인화에 대한 기존의 낙관적인 시각에 중요한 재평가를 요구하며, 향후 개인화된 LLM 개발 방향에 대한 새로운 기준점을 제시합니다.