인공지능(AI) 모델이 점점 더 복잡해지면서, 여러 가지 목표를 동시에 최적화해야 하는 다중 목표 학습(Multi-objective Learning, MOL)의 중요성이 커지고 있습니다. 예를 들어, 자율주행차는 안전성, 효율성, 승차감 등 다양한 목표를 동시에 고려해야 합니다. 이때 핵심적인 역할을 하는 것이 바로 다중 경사 하강법(Multi-Gradient Descent Algorithm, MGDA)입니다. MGDA는 여러 목표 간의 충돌을 피하면서 공통된 하강 방향으로 모델을 업데이트하는 알고리즘입니다.
하지만 기존의 확률적 MGDA(Stochastic MGDA, SMG)는 미니 배치(mini-batch) 샘플링 과정에서 발생하는 노이즈(noise) 때문에 업데이트 방향에 편향이 생기고, 이로 인해 수렴 속도가 느리다는 한계가 있었습니다. 연구팀은 충돌 회피(Conflict-Avoidant, CA) 방향의 연속성이 야코비 행렬(Jacobian matrix)에 대해 $1/2$-횔더(Holder) 연속성을 가진다는 점을 밝혀냈습니다. 이는 최악의 경우 개선될 수 없는 값으로, 기존 SMG의 수렴 속도 $\widetilde{\mathcal O}(T^{-1/4})$의 원인이었습니다. 그러나 추가적인 규칙성 조건(regularity conditions)이 충족되면 이 연속성이 립시츠(Lipschitz) 연속성으로 개선될 수 있음을 발견했습니다.
이러한 통찰을 바탕으로 연구팀은 '규칙성 인식 확률적 MGDA(MoRe)'라는 새로운 방법을 제안했습니다. MoRe는 서브 문제(subproblem)가 규칙적일 때 CA 방향의 립시츠 연속성을 적극적으로 활용하고, 그렇지 않을 때는 고정된 스칼라화 가중치(scalarization weight)로 전환합니다. 즉, 경사(gradient) 충돌이 클 때는 CA 방향 업데이트를 사용하고, 그렇지 않을 때는 선형 스칼라화(linear scalarization) 업데이트를 사용하는 방식입니다. 이 방법은 이론적으로 비볼록(nonconvex) 설정에서 SMG의 수렴 속도를 $\widetilde{\mathcal O}(T^{-1/4})$에서 $\widetilde{\mathcal O}(T^{-1/2})$로 획기적으로 개선하며, 반복(iterate)당 충돌 회피를 보장합니다. 실제 실험에서도 MoRe는 다중 작업 성능(multi-task performance)에서 효과를 입증하며 이론적 수렴 속도와 일치하는 결과를 보여주었습니다. 이는 다중 목표 학습의 효율성을 크게 높여 AI 모델 개발에 긍정적인 영향을 미칠 것으로 기대됩니다.