자율형 AI 에이전트가 결제, 데이터 이동, 인프라 제어 등 민감한 영역에 깊숙이 관여하면서, AI의 오작동이나 환각(hallucination)으로 인한 잠재적 위험이 커지고 있습니다. 이러한 문제를 해결하기 위해, 오픈소스 프로젝트 '어테스터(Attestor)'가 AI 에이전트의 '제로 트러스트 실행 경계(Zero Trust Execution Boundary)'를 제공하며 주목받고 있습니다. 어테스터는 AI가 제안하는 작업이 실제 시스템에서 실행되기 전에 안전성과 정책 준수 여부를 검증하는 일종의 '관문' 역할을 합니다.
어테스터는 AI 에이전트의 의도(intent)를 구조화된 결과로 변환한 뒤, 이를 바탕으로 '허용(admit)', '제한(narrow)', '검토(review)', '차단(block)' 중 하나의 결정을 내립니다. 이 과정에서 정책 준수, 승인 여부, 허용된 범위, 최신성, 재실행 방지 등 다양한 요소를 확인합니다. 특히 고객 소유의 게이트(customer-owned gate)를 통해 실제 서비스 호출을 통제함으로써, AI의 결정이 단순한 증거가 아니라 실제 실행을 막는 '정지점(stop point)'이 되도록 설계되었습니다. 예를 들어, 환불, 데이터 내보내기, 권한 변경, 외부 통신, 인프라 변경 등 고위험 작업에 동일한 검증 패턴을 적용할 수 있습니다. 또한 '섀도우 파일럿(shadow pilot)' 모드를 통해 실제 실행 없이 AI 에이전트가 시도할 수 있는 잠재적 위험 행동을 미리 관찰하고 분석할 수 있어, 위험을 사전에 인지하고 정책을 수립하는 데 도움을 줍니다.
어테스터의 등장은 AI 시스템의 신뢰성과 안전성을 확보하는 데 중요한 전환점이 될 수 있습니다. AI가 단순한 정보 제공을 넘어 실제 행동을 수행하는 단계로 진화하면서, EU AI 법(EU AI Act), NIST AI 위험 관리 프레임워크(NIST AI Risk Management Framework), DORA(Digital Operational Resilience Act)와 같은 규제 프레임워크의 중요성이 커지고 있습니다. 어테스터는 이러한 규제 환경 속에서 기업들이 AI 기반 운영의 위험을 효과적으로 관리하고, 책임감 있는 AI 시스템을 구축하는 데 필수적인 도구가 될 것입니다. 이는 AI 에이전트의 잠재력을 최대한 활용하면서도 통제 불능의 위험을 최소화하려는 업계의 노력을 반영합니다.