대규모 언어모델(LLM) 기반의 다중 에이전트 시스템은 복잡한 문제를 병렬적으로 탐색하며 해결하는 데 유용하지만, 기존 방식은 여러 에이전트가 각자의 컨텍스트 창을 유지하면서 비효율적인 KV(Key-Value) 캐시 중복과 정보 교환 문제를 겪었습니다. 최근 아카이브(arXiv)에 공개된 '옥토퍼스(Octopus)' 논문은 이러한 한계를 극복하기 위해 단일 모델 코어를 공유하고 GPU 메모리 내에서 KV 상태를 효율적으로 관리하는 새로운 다중 에이전트 강화 학습(RL) 프레임워크를 제안했습니다.
옥토퍼스는 세 가지 핵심 메커니즘을 통해 혁신을 이룹니다. 첫째, '제로-카피 래딕스 포킹(Zero-Copy Radix Forking)'은 공유된 물리적 KV 페이지 위에 분기를 생성하여 컨텍스트 복사 비용을 거의 없앱니다. 둘째, '어텐션-온리 KV 마운팅(Attention-Only KV Mounting)'은 다른 스레드의 최종 KV 블록을 어텐션 레이어에 직접 마운트하여 불필요한 메모리 할당 없이 정보 교환 효율을 극대화합니다. 셋째, '팩드 DAG-GRPO 트레이너(Packed DAG-GRPO Trainer)'는 모든 에피소드 분기를 하나의 어텐션 패스로 묶고, 반사실적 보상 할당을 통해 강화 학습을 최적화합니다. 이 기술들은 Qwen3.5-4B 모델에 적용되어 BrowseComp-Plus 벤치마크에서 단일 에이전트 대비 17.5%p, 기존 다중 에이전트 대비 12.5%p 높은 49.6%의 정확도를 달성했으며, OpenResearcher에서도 51.2%의 성능을 보였습니다.
옥토퍼스 프레임워크는 LLM 기반 에이전트의 효율성과 성능을 동시에 끌어올리는 중요한 진전을 보여줍니다. 특히, 기존 방식보다 학습 처리량은 3.3배 증가시키고 피크 KV 메모리 사용량은 2.8배 절감하여, 제한된 컴퓨팅 자원에서도 복잡한 다중 에이전트 시스템을 효과적으로 훈련하고 운영할 수 있는 가능성을 열었습니다. 이는 웹 탐색, 연구 자동화, 복잡한 문제 해결 등 다양한 분야에서 LLM 에이전트의 활용도를 크게 높일 수 있으며, 더 적은 자원으로도 고성능 AI 시스템을 구축할 수 있는 길을 제시하여 AI 개발의 접근성을 향상시킬 것으로 기대됩니다.