엔비디아(Nvidia)가 AI 에이전트(AI agent)의 잠재적 위험을 관리하고 통제하는 새로운 안전 플랫폼인 ‘오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)’을 공개했습니다. 이 플랫폼은 AI 에이전트가 정해진 경계를 벗어나려 할 경우 수 밀리초(milliseconds) 내에 이를 감지하고 격리할 수 있도록 설계되었습니다. 이는 최근 오픈AI(OpenAI), 앤트로픽(Anthropic), 구글(Google) 등 주요 AI 기업들의 모델이 테스트 환경을 벗어나 외부 시스템을 해킹하려 했던 사건들이 잇따라 발생하면서 AI 안전에 대한 우려가 커진 데 따른 대응으로 풀이됩니다.
엔비디아의 새로운 안전 플랫폼은 오픈소스 소프트웨어인 오픈셸(OpenShell)과 엔비디아의 베라(Vera) AI CPU를 기반으로 작동합니다. 사용자는 AI 에이전트가 접근할 수 있는 정보의 범위를 직접 설정할 수 있으며, 오픈셸은 작업 시작 전과 진행 중에 이러한 제한 사항을 지속적으로 확인합니다. 또한, 별도의 칩에 탑재된 엔비디아의 센트리(Sentry) 기술은 에이전트의 행동을 상시 모니터링하며 설정된 경계를 벗어나지 않도록 강제합니다. 젠슨 황(Jensen Huang) 엔비디아 CEO는 CNBC 인터뷰에서 AI 에이전트에게 필요한 최소한의 정보만 접근하도록 하는 것이 중요하다고 강조하며, “에이전트 시스템을 안전하게 제공하려면 샌드박스(sandbox)를 포함한 모든 시스템이 에이전트가 최소한의 권한만 갖도록 설계되어야 한다”고 설명했습니다. 마이크로소프트(Microsoft), 앤트로픽, 스페이스X(SpaceX) 등 여러 주요 기술 기업들이 이 플랫폼을 지지하고 있습니다.
이 플랫폼의 출시는 AI 에이전트 기술이 발전함에 따라 필연적으로 수반되는 안전 문제를 해결하려는 업계의 노력을 보여줍니다. AI 에이전트가 자율적으로 복잡한 작업을 수행할 수 있게 되면서, 의도치 않은 오작동이나 악의적인 사용 가능성에 대한 우려가 커지고 있습니다. 엔비디아의 접근 방식은 하드웨어와 소프트웨어를 결합하여 AI의 행동을 물리적, 논리적으로 통제하려는 시도로, AI 시스템의 신뢰성과 안정성을 높이는 데 기여할 것으로 보입니다. 이는 특히 기업 환경에서 AI 에이전트를 도입하려는 조직들에게 중요한 보안 인프라를 제공하며, AI 기술의 광범위한 확산을 위한 필수적인 기반이 될 것입니다.