강화 학습(Reinforcement Learning, RL)을 활용한 교통 신호 제어 인공지능(AI)은 시뮬레이션 환경에서 매우 높은 효율을 보여줍니다. 하지만 이렇게 훈련된 AI 정책을 실제 도로에 적용하면 기대만큼의 성능을 내지 못하고 오히려 교통 혼잡을 야기하는 경우가 많은데, 이를 '시뮬레이션-실제(Sim-to-Real) 격차'라고 부릅니다. 이 격차는 센싱, 행동 실행, 교통 역학, 제어 목표 등 여러 요인에서 발생하며, 그 원인과 기존 완화 방법의 효과에 대한 이해가 부족했습니다.
최근 발표된 연구 논문 'Sim2Signal'은 이러한 Sim-to-Real 격차를 체계적으로 측정하고 완화 방법을 평가하기 위한 표준 벤치마크를 제시합니다. 이 벤치마크는 격차를 관측(observation), 행동(action), 전이(transition), 보상(reward)의 네 가지 요소 불일치로 세분화하고, 각 격차를 개별적으로 유도하여 분석합니다. 연구팀은 5개의 실제 교통망을 기반으로 구축된 10개의 보정된 네트워크와 33가지 격차 설정에서 2개의 기본 제어기와 18가지 완화 방법을 평가했습니다. 그 결과, 직접 전이(direct transfer) 방식은 모든 격차 원인에서 성능 저하를 일으켰으며, 저하의 심각도가 완화 방법의 효과를 예측하지 못한다는 사실을 발견했습니다. 대신 완화 방법의 효과는 네트워크 및 격차 설정에 따라 크게 달라졌습니다.
특히, 가장 효과적인 완화 방법들은 도메인 무작위화(domain randomization)나 불변 표현(invariant representations)을 통해 정책을 둔감하게 만들기보다는, 격차가 무엇을 변화시키는지 직접 추정하는 방식이었습니다. Sim2Signal 벤치마크는 교통 신호 제어 AI 분야에서 Sim-to-Real 격차를 극복하고 실제 도로 환경에 더 잘 적용될 수 있는 AI 개발을 가속화하는 중요한 도구가 될 것입니다. 이는 궁극적으로 도시 교통 흐름을 최적화하고 시민들의 이동 편의성을 높이는 데 기여할 수 있습니다.