강화 학습(Reinforcement Learning) 분야의 주요 알고리즘 중 하나인 옵션-크리틱(Option-Critic)은 여러 하위 정책(sub-policy), 즉 '옵션(option)'을 학습하고, 각 옵션이 언제 제어권을 반환할지 스스로 결정하는 규칙을 배웁니다. 이 알고리즘의 핵심적인 결과는 옵션의 수가 늘어날수록 성능이 향상된다는 것이었지만, 최근 발표된 연구는 이러한 성능 향상의 진짜 원인에 대해 의문을 제기합니다.
해당 연구는 옵션-크리틱의 성능 향상이 기존에 알려진 방식과는 다르다고 주장합니다. 첫째, 옵션-크리틱이 보상 극대화를 통해 학습하는 '종료 규칙(termination rule)'은 실제 성능에 거의 기여하지 않는다는 점을 밝혀냈습니다. 옵션 선택 정책과 종료 테스트가 동일한 값을 읽을 경우, 종료 테스트는 매 단계마다 실행되어 사실상 항상 종료하는 것과 같은 효과를 냅니다. 둘째, 옵션 내부의 정책(policy)이 탐색(exploration)을 거의 하지 않아 특정 행동에 고착되는 '정책 괴사(policy necrosis)' 현상이 발생하며, 이는 일반적인 옵션에서 상태의 60%가 괴사 상태임을 보여줍니다. 셋째, 추가적인 옵션이 개별 옵션의 성능을 직접적으로 개선하기보다는, 모든 옵션이 동시에 실패할 확률을 59%에서 4%로 크게 낮추어 전체적인 성능 향상으로 이어진다고 분석했습니다.
이러한 발견은 옵션 기반 강화 학습의 설계와 최적화에 중요한 시사점을 제공합니다. 단순히 옵션의 수를 늘리는 것이 능사가 아니라, 각 옵션 내부의 탐색을 활성화하고 정책 괴사를 방지하는 것이 더 본질적인 성능 개선으로 이어질 수 있음을 의미합니다. 또한, 여러 옵션이 서로의 실패를 보완하는 '중복 커버리지' 효과를 이해하고 활용하는 것이 알고리즘의 견고성을 높이는 데 핵심적인 역할을 할 수 있습니다. 이는 향후 강화 학습 연구자들이 옵션의 역할과 효과를 더욱 깊이 있게 탐구하는 계기가 될 것입니다.