최근 공개된 연구 논문에서 '순방향 전용 MLP 훈련(FPO: Forward-Pass-Only MLP training)'이라는 새로운 기법이 대규모 언어모델(LLM)의 미세조정(fine-tuning) 방식을 혁신할 가능성을 제시했습니다. 이 방식은 기존 훈련 과정의 핵심인 역전파(backpropagation) 없이 모델을 적응시켜, 훈련 처리량(throughput)을 최대 3.2배 향상시키고 피크 메모리 사용량을 약 40% 줄이는 놀라운 성과를 보였습니다.
FPO의 핵심은 트랜스포머 모델의 후반부 레이어에서 출력 레이어의 예측 오류가 실제 기울기(gradient)를 상당히 잘 근사한다는 경험적 관찰에 기반합니다. 연구팀은 이 근사치가 6개 공개 모델에서 코사인 유사도 0.47~0.59를 보인다는 것을 확인했습니다. FPO는 이 원리를 활용해 출력에서 단일 오류 신호를 계산하고 이를 목표 레이어에 직접 적용하며, 레이어 간 신호 전파나 자동 미분(autograd) 그래프를 전혀 구축하지 않습니다. OLMo-2-7B, Qwen3-8B, Falcon3-7B 등 세 가지 모델 계열에 대한 평가에서 FPO는 도메인 내(in-domain) 성능을 개선하면서도 MMLU, ARC-Challenge 등 도메인 외(off-domain) 벤치마크 성능은 기존 미세조정 방식과 유사한 수준을 유지했습니다.
이러한 FPO 방식은 LLM 미세조정의 주요 병목 중 하나인 계산 비용과 메모리 제약을 크게 완화할 수 있다는 점에서 중요한 의미를 가집니다. 특히, 대규모 모델을 특정 도메인에 빠르게 적응시켜야 하는 기업이나 연구자들에게 큰 이점을 제공할 것입니다. 기존 미세조정 방식보다 훨씬 적은 자원으로도 모델을 효율적으로 업데이트할 수 있게 되어, LLM의 접근성과 활용성을 높이는 데 기여할 것으로 기대됩니다. 이는 LLM 기반 서비스의 개발 및 배포 속도를 가속화하고, 더 다양한 맞춤형 AI 애플리케이션의 등장을 촉진할 잠재력을 가지고 있습니다.