강화학습(Reinforcement Learning) 에이전트들이 복잡한 환경을 효율적으로 탐색하는 것은 중요한 과제입니다. 최근 발표된 연구에 따르면, 병렬 상태 엔트로피 최대화(Policy Gradient for Parallel State Entropy maximization, PGPSE) 방식의 한계점을 개선한 '한계 커버리지 기여도(Marginal Coverage Credit, MCC)를 활용한 PGPSE(MCC-PGPSE)'가 중복 탐색 문제를 줄이고 탐색 효율을 높이는 데 성공했습니다.
기존 PGPSE는 여러 개의 독립적인 정책(policies)을 동시에 학습시켜 상태 공간(state space) 탐색 범위를 넓히는 방식입니다. 하지만 이 방법은 팀 전체의 엔트로피(entropy) 점수만을 측정하여 개별 정책이 얼마나 독자적이고 비중복적인 탐색에 기여하는지 파악하기 어려웠습니다. 이로 인해 여러 정책이 동일한 영역을 불필요하게 반복 탐색하는 비효율이 발생했습니다. MCC-PGPSE는 '하나의 정책을 제외했을 때의 커버리지'와 '상태 소유자 특화' 개념을 결합하여 각 정책의 한계 기여도를 추정합니다. 이렇게 계산된 기여도에 따라 보조 내재적 보상(auxiliary intrinsic rewards)을 재분배함으로써, 중복 방문을 억제하고 상호 보완적인 탐색을 촉진합니다.
연구팀은 MCC-PGPSE를 다양한 제어 환경, 7가지 공개 이산 상태 벤치마크, 그리고 PGPSE 프로토콜의 Room 및 Maze 설정에서 평가했습니다. 그 결과, MCC-PGPSE는 모든 테스트 환경에서 정규화된 팀 상태 엔트로피와 상태 지원 면에서 긍정적인 개선을 보였습니다. 특히, 제어된 태스크 비교와 고정 스위트(fixed-suite) 공개 집계에서 유의미한 성과를 달성했습니다. 이러한 결과는 기여도에 따라 보상을 할당하는 방식이 병렬 정책 간의 상호 보완적 탐색을 개선하는 해석 가능한 접근 방식임을 시사하며, 이산 상태 공간에서 강화학습의 탐색 효율을 높이는 중요한 진전으로 평가됩니다.