딥 이퀼리브리엄 모델(Deep Equilibrium Models, DEQ)은 모델 업데이트에도 변하지 않는 은닉 표현(hidden representation)을 통해 예측을 수행하는 신경망의 한 종류입니다. 이러한 DEQ를 학습시키는 과정은 잔차 야코비안(residual Jacobian)을 기반으로 하는 수반 시스템(adjoint system)을 풀어야 하는 암시적 미분(implicit differentiation)을 사용합니다. 그러나 이 야코비안 행렬이 손실에 민감한 방향에서 특이점에 가까워지면, 작은 교란(perturbation)이 수반 응답(adjoint response)에서 크게 증폭되어 매우 민감한 기울기를 생성하고, 이는 최적화(optimization)의 신뢰성을 떨어뜨리는 주요 원인이 됩니다.
최근 Jose Luis Lima de Jesus Silva 연구팀은 이러한 문제를 해결하기 위해 '응답 재정규화(Response Renormalization)'라는 새로운 역전파 프레임워크를 제안했습니다. 이 프레임워크는 역전파 과정에서 특정 채널의 분모를 조정하여, 불안정한 기울기 증폭을 제어합니다. 특히, '집단 모드 응답 재정규화(Collective Mode Response Renormalization, CMR)'는 저차원의 임계 부분 공간(critical subspace)에서 이 보정을 적용하며, '파이-적응형 CMR(Phi-adaptive CMR)'은 양의 감수성 규칙(positive susceptibility rule)을 통해 유한한 응답 질량(response mass)을 계산합니다. 이 기술은 부분 미분 방정식, 3차원 필드, 복잡한 기하학 등 23가지 다양한 다중 물리(multiphysics) 문제군에서 기존의 정확한 암시적 미분 방식과 비교했을 때, 98% 이상의 정적(static) 및 95% 이상의 과도(transient) 시나리오에서 5% 이내의 시험 오차를 보이며 안정적인 성능을 입증했습니다.
이 '응답 재정규화' 기술은 DEQ의 학습 안정성을 획기적으로 개선하여, 매개변수 업데이트의 신뢰도를 높이면서도 학습에 필요한 유용한 기울기 정보를 보존할 수 있게 합니다. 이는 DEQ가 복잡한 물리 시스템 시뮬레이션, 연산자 매핑, 입자 시스템 등 다양한 과학 및 공학 분야에서 더욱 폭넓게 활용될 수 있는 기반을 마련합니다. 특히, 기존 DEQ의 불안정성 때문에 적용이 어려웠던 분야에서도 DEQ의 장점인 메모리 효율성과 깊은 모델의 표현력을 활용할 수 있게 되어, 인공지능(AI) 모델의 실제 적용 가능성을 확장하는 데 기여할 것으로 기대됩니다.