미스트랄(Mistral)이 로봇이 단 하나의 RGB 카메라와 자연어 명령만으로 복잡한 실내외 환경을 자율적으로 이동할 수 있게 하는 새로운 내비게이션 모델 '로보스트랄 내비게이트(Robostral Navigate)'를 공개했습니다. 이 모델은 로봇이 "로비를 나가 복도를 지나 비품실에 들어간 뒤 두 번째 선반을 바라보고 멈추라"와 같은 구체적인 지시를 이해하고 수행할 수 있도록 설계되었으며, 기존의 뎁스(depth) 센서나 라이다(LiDAR), 여러 대의 카메라를 사용하는 방식보다 효율적이면서도 높은 정확도를 자랑합니다.
로보스트랄 내비게이트는 8B(80억 개 매개변수) 규모의 모델로, 약 40만 개의 시뮬레이션 궤적(trajectory)과 6,000개의 장면(scene)으로 학습되었습니다. 특히, 학습 토큰 수를 22배 줄이는 '프리픽스 캐싱(prefix-caching)' 기법으로 학습 효율을 극대화했으며, 이후 CISPO 온라인 강화 학습(reinforcement learning)을 통해 성공률을 3.2% 추가 개선했습니다. 이 모델은 R2R-CE(Room-to-Room in Continuous Environments) 벤치마크의 학습되지 않은 환경(validation unseen)에서 76.6%의 성공률을 기록하며, 단일 카메라 방식뿐 아니라 뎁스 또는 다중 카메라 기반 최고 시스템보다도 우수한 성능을 입증했습니다.
이 모델의 핵심은 '포인팅(pointing)' 기반 이동 방식입니다. 로봇은 현재 시야 내의 목표 위치를 이미지 좌표로 예측하고, 시야 밖에 있는 목표는 로컬 좌표계의 변위 명령으로 전환하여 이동합니다. 이는 카메라 내부 파라미터나 실제 세계 스케일 변화에 강건하며, 바퀴형, 보행형, 비행형 등 다양한 로봇 플랫폼에 적용 가능합니다. 미스트랄은 로보스트랄 내비게이트가 통합된 '엠바디드 에이전트(embodied agent)'를 향한 첫걸음이며, 대규모 시뮬레이션, 효율적인 학습, 강력한 그라운딩(grounding) 능력을 결합하여 컴팩트한 모델과 단일 RGB 카메라만으로도 최첨단 로봇 내비게이션을 달성할 수 있음을 보여주었다고 강조했습니다.
로보스트랄 내비게이트의 등장은 로봇 내비게이션 기술의 대중화와 상용화에 중요한 전환점이 될 수 있습니다. 복잡한 센서 시스템 없이 단일 RGB 카메라만으로도 고성능 내비게이션이 가능해지면서, 로봇 제조 비용을 절감하고 다양한 분야에서의 로봇 도입을 가속화할 수 있습니다. 특히, 가정용 서비스 로봇, 물류 로봇, 산업용 자율 이동 로봇 등 복잡한 환경에서 사람과 상호작용해야 하는 로봇들에게 필수적인 기술이 될 것입니다. 이는 로봇이 단순히 정해진 경로를 따라 이동하는 것을 넘어, 인간의 지시를 이해하고 예측 불가능한 상황에 유연하게 대처하는 '지능형 로봇' 시대를 앞당기는 데 기여할 것으로 기대됩니다.