최근 발표된 연구에 따르면, 대규모 언어모델(LLM)의 기본 능력을 저하시키지 않으면서 특정 오류를 수정할 수 있는 새로운 접근 방식이 제시되었습니다. 'CRN v2'라고 명명된 이 경량 교정 모듈은 기존 LLM을 완전히 동결(frozen)한 상태에서 그 위에 덧붙여져 작동하며, 모델의 핵심 기능을 보존하면서도 오류를 효과적으로 개선하는 데 초점을 맞춥니다.
이 연구는 46.5억 개의 매개변수를 가진 Gemma 4 E2B 모델을 기반으로 진행되었으며, CRN v2 모듈은 약 3,400만 개의 학습 가능한 매개변수(기존 모델의 0.73%)만을 사용합니다. 이 모듈은 지도 미세조정(supervised fine-tuning)과 참조 없는 DPO(Direct Preference Optimization)를 통해 83,400쌍의 오류 교정 데이터를 학습했습니다. 60개 문항으로 구성된 도메인 시험(CEHRI)에서 CRN v2는 기본 모델 오류의 53.3%를 성공적으로 수정했으며, 동시에 MMLU나 BoolQ 같은 주요 능력 벤치마크에서는 성능 저하가 전혀 없음을 입증했습니다. 이는 LoRA(Low-Rank Adaptation)와 같은 다른 미세조정 방식이 오류 수정률은 높지만, 기본 모델의 능력 손실을 크게 일으키는 것과 대조적입니다.
이러한 '동결된 기반 모델 + 로짓 교정 + KL 보존' 설계 원칙은 LLM의 실용적인 활용에 있어 매우 중요한 의미를 가집니다. 기존 LLM의 방대한 매개변수를 모두 재학습하는 대신, 작고 효율적인 모듈을 통해 특정 문제를 해결함으로써 학습 비용과 시간을 크게 절감할 수 있습니다. 이는 특히 특정 도메인이나 태스크에서 LLM의 정확도를 높여야 하는 기업이나 개발자에게 매력적인 솔루션이 될 수 있습니다. 또한, 모델의 핵심 능력을 보존하면서 오류를 수정할 수 있다는 점은 LLM의 신뢰성과 안정성을 향상시켜, 더욱 다양한 분야에서 LLM이 안전하게 활용될 수 있는 기반을 마련할 것으로 기대됩니다.