자율 에이전트(Agentic AI)가 빠르게 발전하면서, 이들이 사회적 신뢰 경계를 넘나들기 시작했습니다. 하지만 현재의 위험 모델로는 이러한 AI의 잠재적 실패를 충분히 예측하고 관리하기 어렵다는 문제가 제기되고 있습니다. 기존 접근 방식들은 실패 메커니즘을 설명하더라도 실제 위험을 정량화하지 못하거나, 위험을 추정하더라도 내부 실패 경로를 블랙박스처럼 다루는 한계를 보였습니다. 이에 Hassan Karim 연구진은 AI의 실패 경로를 명확히 하고 잔여 위험을 정량적으로 평가할 수 있는 새로운 통합 프레임워크를 제안했습니다.
연구진이 제안한 'CPSAINT'는 자율 AI 시스템의 무결성을 물리적 상태(Physical state), 센서(Sensors), 데이터(Data), 컴퓨팅(Compute), 액추에이터(Actuators), 환경(Environment), 시간(Time)의 7개 계층으로 분해하는 구조를 가집니다. 여기에 'FRIESA-K'라는 잔여 위험 함수를 결합하여, 각 실패 경로를 정량화된 위험 인스턴스로 매핑합니다. 특히 FRIESA-K는 제어 흡수 마르코프 모델(controlled absorbing Markov model)을 기반으로 저항(resistance) 항을 설정하여, 제어 효과를 비공식적인 점수가 아닌 상태 역학(state dynamics)에서 도출하도록 했습니다. 이 프레임워크는 창고 로봇과 금융 서비스 에이전트라는 두 가지 대조적인 시나리오에서 동일한 계층 문법과 변수 의미론, 동적 저항 구성이 유효함을 입증했습니다.
이러한 정량적이고 구성 가능한 위험 평가 프레임워크는 자율 AI 시스템의 설계 및 운영에 있어 중요한 의미를 가집니다. AI의 신뢰성을 높이고 복원력 있는 시스템을 구축하는 데 필수적인 도구가 될 수 있기 때문입니다. 특히 다양한 도메인에서 교차 추론을 가능하게 하고, 명시적인 가정과 정량적으로 근거 있는 신뢰의 형식화를 제공함으로써, AI 거버넌스(governance) 및 규제 준수에도 크게 기여할 것으로 보입니다. 이는 자율 AI가 더욱 복잡하고 중요한 역할을 수행하게 될 미래 사회에서 안전하고 책임감 있는 AI 개발의 기반을 마련하는 데 핵심적인 역할을 할 것입니다.