강화 학습(RL) 에이전트가 보상이 희박하거나 지연되고, 심지어는 아예 없는 비정상적인 환경에서도 효과적으로 학습하고 탐험할 수 있는 새로운 프레임워크가 제안되었습니다. '내재적 호기심(Intrinsic Curiosity)'에 기반한 이 접근 방식은 에이전트가 단순히 외부 보상에만 의존하지 않고, 스스로 탐험의 방향을 찾아나갈 수 있도록 돕습니다.
이 모델은 행동 선택 시 외부 보상과 함께 '인식론적 동기(epistemic motivation)' 메커니즘을 결합합니다. 이 메커니즘은 에이전트가 구조화된 탐험 방향으로 편향되도록 유도하며, 너무 경직되거나 무질서하지 않은 '중간 수준의 비일관성'에서 가장 효과적인 탐험이 나타난다는 가설을 기반으로 합니다. 연구팀은 이 프레임워크를 리퀴드 스테이트 머신(Liquid State Machine, LSM) 기반으로 구현하고, LunarLanderv2 및 BipedalWalkerv3와 같은 표준 벤치마크에서 평가했습니다. 그 결과, 제안된 방법은 PPO(Proximal Policy Optimization)나 ICM(Intrinsic Curiosity Module)과 같은 기존 심층 RL 알고리즘과 비교해 경쟁력 있는 성능을 달성했습니다.
이 연구는 보상이 불확실한 실제 환경에서 강화 학습의 적용 가능성을 크게 확장할 수 있다는 점에서 중요합니다. 자율 주행, 로봇 공학, 복잡한 시뮬레이션 등 다양한 분야에서 에이전트가 스스로 환경을 이해하고 학습하는 능력이 필수적이기 때문입니다. 내재적 호기심을 통해 에이전트가 미지의 영역을 탐색하고 새로운 지식을 습득하는 과정은, 인간의 학습 방식과 유사하게 더욱 견고하고 유연한 인공지능 시스템을 구축하는 데 기여할 것으로 기대됩니다.