인공지능(AI) 시스템, 특히 강화 학습(RL) 정책이나 대규모 언어모델(LLM) 에이전트와 같은 비결정론적 AI는 기존 소프트웨어와 달리 정적 벤치마크나 단일 성공 사례만으로는 신뢰성을 온전히 파악하기 어렵습니다. 이러한 한계를 극복하기 위해, 포아송 랩스(Poisson Labs)는 AI 의사결정 시스템의 '실패 경계(failure boundary)'를 시각적으로 매핑하는 새로운 도구 '몬테(Monte)'를 개발했습니다. 이 시스템은 특정 AI 정책이 어떤 환경 조건에서 실패할 확률이 높은지 정량적으로 보여줌으로써, AI 개발자들이 시스템의 강점과 약점을 명확히 이해하고 개선할 수 있도록 돕습니다.
몬테 시스템은 유니트리 고원(Unitree Go1) 로봇의 보행 정책을 대상으로 첫 번째 테스트를 진행했습니다. 훈련된 로봇 정책을 고정한 채, 6,400가지에 달하는 다양한 바닥 마찰 계수와 측면 밀침(lateral push) 조합에 대해 시뮬레이션을 수행했습니다. 각 조건에서 몬테는 물리 엔진을 구동하고 반복적인 롤아웃(rollout)을 통해 5초 동안 로봇이 넘어지지 않고 생존할 확률을 추정했습니다. 그 결과, 로봇이 안정적으로 움직이는 영역과 실패하는 영역이 명확히 구분된 지도를 얻을 수 있었습니다. 이 지도는 마찰이 낮을수록, 그리고 밀침의 강도가 강할수록 실패 확률이 높아지는 대각선 형태의 경계를 보여주었으며, 특히 마찰 계수(μ) 0.15 이하의 매우 미끄러운 바닥에서는 작은 밀침에도 로봇이 쉽게 넘어지는 예상치 못한 실패 모드도 발견했습니다. 이 모든 실험은 재훈련 및 재측정을 포함해 단 42달러의 비용으로 진행되었습니다.
이러한 실패 경계 매핑은 AI 시스템의 견고성을 평가하고 개선하는 데 혁신적인 접근 방식을 제공합니다. 기존에는 AI가 특정 작업을 한 번 성공하면 충분하다고 여겼지만, 몬테는 '어떤 상황에서 실패하는가'에 초점을 맞춰 개발자들이 훈련 데이터셋의 부족한 부분을 식별하고 보완할 수 있도록 돕습니다. 예를 들어, 로봇이 한 번도 경험하지 못한 낮은 마찰 환경이나 강한 외부 충격에 대한 취약점을 발견하고, 이를 바탕으로 추가 훈련을 통해 정책을 개선할 수 있습니다. 이는 로봇이 실제 환경에서 마주칠 수 있는 예측 불가능한 상황에 더욱 효과적으로 대응할 수 있도록 하며, AI 기반 제품 및 서비스의 신뢰성과 안전성을 크게 향상시키는 데 기여할 것입니다.