강화학습(Reinforcement Learning)에서 에이전트(agent)가 최적의 행동 정책을 학습하는 데 중요한 역할을 하는 TD 학습(Temporal-Difference Learning)은 오프폴리시(off-policy) 학습 환경에서 종종 불안정성 문제를 겪습니다. 오프폴리시 학습은 현재 행동하는 정책과 다른 정책을 평가하거나 개선할 수 있게 해줘 효율성을 높이지만, 이로 인해 학습 과정이 불안정해질 수 있습니다. 이를 해결하기 위해 제안된 ETD(Emphatic Temporal-Difference Learning)는 기댓값(expected value) 수준에서 업데이트의 안정성을 높였지만, 실제 샘플링된 데이터 환경, 특히 학습률(stepsize)이 상수에 가까울 때 여전히 불안정할 수 있다는 한계가 있었습니다.
최근 싱궈 첸(Xingguo Chen) 외 7명의 연구진은 이러한 문제를 해결하기 위해 RETD(Regularized Emphatic Temporal-Difference Learning)라는 새로운 접근법을 제안했습니다. RETD는 기존 ETD의 추적(trace) 및 중요도 비율(importance ratios)은 그대로 유지하면서, 강조된 TD 신호(emphatic TD signal)를 누출되는 스칼라 상태(leaky scalar state)에 저장하고 지연된 보정(delayed correction)을 적용하는 방식입니다. 이 방법은 ETD의 고정점(fixed point)을 정확히 복구하면서도, 기존 ETD가 불안정했던 특정 환경(예: 2-상태 구성 및 Baird 포인트)에서 안정적인 수렴을 보장합니다. 연구진은 조화 감소 학습률(harmonic diminishing stepsizes)에 대한 거의 확실한 수렴(almost-sure convergence)과 마르코프 랜덤 곱(Markovian random-product) 경계를 통한 조건부 상수 학습률 모멘트 수축(moment-contraction) 결과를 증명했습니다.
RETD의 등장은 강화학습 알고리즘의 실제 적용 가능성을 크게 향상시킬 것으로 기대됩니다. 특히 로봇 제어, 자율 주행 등 학습률이 일정하게 유지되어야 하는 실시간 시스템에서 안정적인 학습을 가능하게 할 것입니다. 기존 ETD가 이론적으로는 안정적이었지만 실제 환경에서 불안정성을 보였던 한계를 극복함으로써, 더 신뢰성 높은 인공지능(AI) 시스템 개발에 기여할 수 있습니다. 이는 강화학습의 상용화 및 다양한 산업 분야로의 확장을 가속화하는 중요한 진전으로 평가됩니다.