대규모 언어모델(LLM)의 발전은 주로 성능 최적화에 초점을 맞춰왔지만, 최근 Minh Hua와 Rita Raley의 논문은 이러한 접근 방식에 대한 비판적 시각을 제시했습니다. 이들은 GPT-2의 초기 어색한 결과물부터 현재의 유창한 모델에 이르기까지, 측정 가능한 지표 개선에만 몰두하는 '최적화 문화'가 언어 모델의 가치를 온전히 담아내지 못한다고 주장합니다.
논문은 사전 학습(pretraining), 디코딩(decoding), 선호도 튜닝(preference tuning), 벤치마킹(benchmarking), 인터페이스(interface) 등 LLM 개발의 전 과정에서 최적화가 지배적인 역할을 해왔음을 지적합니다. 이러한 최적화 절차는 생성된 텍스트가 얼마나 '있을 법하지 않은지'는 측정할 수 있지만, 그 '있을 법하지 않음'이 단순한 오류인지 아니면 독창적인 발명인지는 구분하지 못한다는 것입니다. 즉, 알고리즘은 판단 능력 없이 판단의 역할을 수행하고 있다는 비판입니다.
수세기 동안 학회, 학교, 문법학자 등이 보유했던 '합법적인 언어'에 대한 판단 권한이 불과 5년 만에 손실 함수(loss functions), 보상 모델(reward models), 벤치마크, 시스템 프롬프트(system prompts)와 같은 알고리즘적 장치로 넘어갔다는 것이 논문의 핵심 주장입니다. 이는 기술 발전의 이면에 숨겨진 철학적, 사회적 함의를 되짚어보게 합니다. LLM이 단순한 도구를 넘어 언어의 본질과 가치 판단에 깊이 관여하게 되면서, 기술 개발의 방향성에 대한 보다 폭넓은 논의가 필요함을 시사합니다.