강화 학습(RL) 에이전트가 주변 환경을 완전히 파악하지 못하는 '부분 관측 가능 환경(Partial Observability)'에서 의사결정을 내릴 때, 불완전한 정보로 인해 최적의 행동을 선택하기 어렵습니다. 이러한 상황에서 광범위한 추론 능력을 가진 소규모 언어모델(SLM)의 도움을 받는 연구가 진행되어 왔으나, 기존의 불확실성 기반 접근 방식은 SLM이 독립적인 행동을 제안하는 경우가 거의 없어 실질적인 기여가 미미했습니다.
최근 연구 논문 'ASK in the Dark'에서는 이러한 문제의 원인을 SLM에 제공되는 '맥락 부족'으로 진단하고, 이를 해결하기 위한 새로운 방법론 'ASK+'를 제안했습니다. ASK+는 SLM에게 부분적으로 드러난 지도, 방문한 위치, 행동 이력 등 '경로 인식 맥락(trajectory-aware context)'을 제공합니다. 또한, '체인 오브 생각(Chain-of-Thought, CoT)' 추론 방식을 도입하여 SLM이 단순한 중복 확인을 넘어 에이전트의 정책을 효과적으로 수정하는 '정보성 컨설턴트' 역할을 하도록 만들었습니다. 이 연구는 선택적 질의에 사용되는 예측 엔트로피(predictive entropy) 신호가 상태 불확실성보다는 행동 불확실성을 측정하며, 부분 관측 가능 환경에서도 유용하다는 점을 입증했습니다.
ASK+는 DoorKey 환경에서 기존 PPO(강화 학습 알고리즘)와 동일한 89%의 성공률을 보이던 바닐라 ASK를 93%로 끌어올렸고, FourRooms에서는 53%에서 70%로, HigherLower에서는 73.7% 정확도에 도달하며 SLM 단독 상한선과 일치하는 성능을 보였습니다. 특히 Qwen3.5-2B 모델이 Qwen3.5-4B 모델과 같거나 더 나은 성능을 보여, 모델의 규모보다 프롬프트 설계와 선택적 게이팅(selective gating)이 성능에 더 큰 영향을 미친다는 점을 확인했습니다. 이는 대규모 모델 없이도 효과적인 LLM 기반 가이던스가 가능함을 의미하며, 제한된 자원으로도 AI 에이전트의 성능을 향상시킬 수 있는 실용적인 길을 제시합니다.