최근 아카이브(arXiv)에 공개된 A Run과 Ziluo Ding의 연구 논문은 인컨텍스트 강화 학습(ICRL)이 비정상(non-stationary) 환경, 즉 보상 구조나 환경 역학이 시시각각 변하는 상황에서 어떻게 작동하는지에 대한 포괄적인 조사를 제시했습니다. 이 연구는 사전 학습된 트랜스포머(transformer) 모델, 알고리즘 증류(algorithm distillation), 장문맥 메타 강화 학습(long-context meta-RL) 등 최근의 발전이 ICRL에 대한 관심을 다시 불러일으키고 있음을 강조합니다. ICRL의 핵심은 모델이 테스트 시점의 파라미터 업데이트 없이도 상호작용 문맥(interaction context)으로부터 숨겨진 규칙을 추론하고 미래 행동을 개선하는 능력에 있습니다.
기존 ICRL 연구들은 주로 사전 학습 목표, 아키텍처, 문맥 형식, 평가 프로토콜 등에 초점을 맞췄지만, 변화하는 환경에서의 적응 문제는 상대적으로 덜 다뤄졌습니다. 비정상 환경에서는 과거에 축적된 문맥이 단순히 고정된 작업에 대한 추가 증거가 아니라, 보상 사양, 전이 커널, 관찰 채널, 행동 인터페이스, 제약 모델 등이 현재 상황과 불일치할 수 있습니다. 따라서 이전에 유용했던 문맥이 쓸모없어지거나, 심지어 오해를 불러일으킬 수도 있으며, 과거의 환경이 다시 나타나면 다시 유용해질 수도 있습니다. 이 논문은 이러한 비정상 ICRL을 '배포된 정책 파라미터가 고정된 상태에서 문맥을 통해 적응하는 문제'로 정의하며, 에이전트가 현재의 의사결정 규칙뿐만 아니라 축적된 증거 중 어떤 부분이 그 규칙을 여전히 뒷받침하는지 추론해야 한다고 설명합니다.
이 연구는 비정상 ICRL을 메타 강화 학습(meta-RL), 의사결정 시퀀스 모델링(decision sequence modeling), 검색 증강 강화 학습(retrieval-augmented RL) 등 관련 분야와 연결 짓고, '무엇이 변하는가', '변화가 어떻게 전개되는가', '변화가 에이전트에게 얼마나 관찰 가능한가'라는 세 가지 질문을 중심으로 문헌을 정리합니다. 이는 변화하는 환경에서 AI 에이전트가 더욱 강건하고 유연하게 작동하도록 설계하는 데 중요한 통찰을 제공합니다. 궁극적으로 이 연구는 실제 세계의 복잡하고 예측 불가능한 환경에서 AI 시스템이 지속적으로 학습하고 적응하는 능력을 향상시키는 데 기여할 것으로 기대됩니다.