시간 의존적인 편미분 방정식(Partial Differential Equations, PDE)을 빠르게 근사하는 신경망 연산자(Neural Operator)의 정확도를 획기적으로 높이는 새로운 강화 학습(Reinforcement Learning) 기반 접근 방식이 제안되었습니다. 기존 신경망 연산자는 자동 회귀(autoregressive) 방식으로 예측을 수행할 때 시공간적으로 다양한 예측 오류가 발생하며, 제한된 수정 예산 내에서 이 오류를 어디에, 언제 할당할지가 큰 문제였습니다. 이 연구는 이 문제를 '예산 제약 적응형 신경망 연산자 해법'으로 정의하고, 장기적인 관점에서 오류를 최소화하는 방법을 제시합니다.
이 새로운 방법론은 '롤아웃 검증 정책 개선(Rollout-Verified Policy Improvement, RV-PI)'이라고 불립니다. RV-PI는 전역 푸리에 신경망 연산자(Fourier neural operator)가 전체 필드를 진행시키고, 지역 연산자가 패치별 잔차 수정(patch-wise residual corrections)을 제안하며, 선택기가 수정할 위치를 결정하는 구조입니다. 특히, 거시 정책(macro policy)이 남은 수정 예산 중 언제, 얼마나 사용할지를 결정하게 됩니다. RV-PI는 학습된 PDE 솔버의 실제 연속 롤아웃(continuation rollouts)을 통해 실행 가능한 수정 횟수를 평가하고, 장기적인 이점을 보수적인 정책 목표로 전환하며, 보류된 궤적 오류가 개선될 때만 업데이트를 수락하는 방식으로 작동합니다.
연구 결과는 RV-PI의 우수성을 입증했습니다. 32회 개입 예산이 주어진 천해파(shallow-water) 벤치마크에서 RV-PI는 평균 궤적 상대 L2 오류 0.6910을 달성하여, 즉각적인 정책 개선 방식보다 5.37%, 무작위 거시 정책(RandomMacro)보다 2.41% 향상된 성능을 보였습니다. 또한, 76회 개입 예산이 주어진 브루셀레이터(Brusselator) 벤치마크에서는 0.09954를 달성하여, 즉각적인 정책 개선 방식보다 2.31%, 무작위 거시 정책보다 5.32% 개선되었습니다. 이 결과는 국소적인 수정의 가치가 단순히 즉각적인 오류 감소뿐만 아니라, 자동 회귀 궤적에 미치는 장기적인 하위 효과에 달려 있음을 명확히 보여줍니다.
이러한 발전은 기후 모델링, 유체 역학, 재료 과학 등 복잡한 물리 시스템을 시뮬레이션하는 다양한 과학 및 공학 분야에 큰 영향을 미칠 것입니다. 제한된 컴퓨팅 자원 내에서 더 정확하고 효율적인 예측이 가능해지면서, 연구 개발 속도를 높이고 새로운 발견을 촉진할 수 있습니다. 특히, 실시간 시뮬레이션이 중요한 분야에서는 예측 정확도와 계산 효율성이라는 두 마리 토끼를 잡는 데 기여할 것으로 기대됩니다.