최근 '쉽독 허딩(Sheepdog Herding)'이라는 새로운 강화학습(RL) 환경이 공개되어 AI 연구자들의 주목을 받고 있습니다. 이 환경은 고전적인 브라우저 게임 '셰퍼드 독(Shepherd's Dog)'을 모티브로, 인공지능이 양치기 개를 조종하여 흩어진 양떼를 울타리 안으로 모으는 복잡한 과제를 수행하도록 설계되었습니다. 이는 특히 세계 모델(World Model)과 같은 고급 강화학습 알고리즘을 테스트하고 개발하는 데 유용할 것으로 기대됩니다.
'쉽독 허딩' 환경에서 AI는 제한된 속도를 가진 양치기 개를 조종하며, 특정 방향으로 움직이거나 짖는(bark) 행동을 통해 양떼를 통제합니다. 짖는 행동은 주변 양들을 특정 방향으로 빠르게 움직이게 하는 핵심적인 기능입니다. 양떼는 스트롬봄(Strömbom et al., 2014)의 양치기 모델을 기반으로 응집력, 분리, 개로부터의 회피, 관성 등 실제와 유사한 행동 패턴을 보입니다. 울타리는 고정된 폭의 입구를 가지고 있어 양떼를 단순히 밀어 넣는 것이 아니라 전략적으로 유도해야 합니다. AI의 목표는 해가 지기 전까지 양떼의 80% 이상을 울타리 안으로 모으는 것이며, 선택적으로 늑대가 등장하여 난이도를 높일 수도 있습니다.
이 환경은 '벡터(vector)' 또는 '픽셀(pixel)' 기반의 관측 모드(observation mode)를 제공하여 다양한 종류의 강화학습 모델을 적용할 수 있습니다. 예를 들어, 벡터 모드는 개의 위치, 속도, 양떼의 상대적 위치 등 정량화된 데이터를 제공하며, 픽셀 모드는 게임 화면과 같은 시각적 정보를 제공하여 합성곱 신경망(CNN) 기반 정책을 훈련할 수 있습니다. 보상 시스템(reward system)은 양이 울타리에 들어갈 때 긍정적인 보상을 주고, 울타리 입구에서 멀어지거나 양떼가 흩어질 때 부정적인 보상을 주어 AI가 효율적인 양치기 전략을 학습하도록 유도합니다. 이러한 설계는 강화학습 에이전트가 복잡한 환경에서 장기적인 계획과 미세한 제어를 학습하는 데 중요한 도전 과제를 제공하며, 실제 로봇 공학이나 자율주행과 같은 분야의 시뮬레이션 환경 개발에도 영감을 줄 수 있습니다.