물리적 장비를 제어하는 인공지능(AI) 에이전트의 안전성을 평가하는 새로운 도구인 'URML'이 깃허브(GitHub)에 공개되었습니다. URML은 AI가 로봇에게 내리는 명령, 즉 '의도(intent)'가 실제 하드웨어의 물리적 한계와 설정된 안전 규약을 위반하지 않는지 검증하는 데 초점을 맞춥니다. 이를 통해 AI 로봇이 공장이나 연구실 환경에서 오작동하여 발생할 수 있는 잠재적 사고를 사전에 방지하는 역할을 합니다.
URML은 에이전트의 의도를 'intents.yaml' 파일에 정의하고, 로봇 장비의 물리적 한계는 'lab-cell.manifest.yaml'에, 그리고 현장 배포 시 적용되는 더 엄격한 안전 규약은 'deploy.envelope.yaml'에 명시합니다. 이 세 가지 파일을 기반으로 URML은 AI의 의도가 허용 가능한지 여부를 판단하며, 거부될 경우 그 이유와 근거를 명확히 제시합니다. 예를 들어, 액체 핸들러, 플레이트 처리 로봇 팔, 플레이트 리더 등으로 구성된 실험실 환경에서, URML은 플레이트 파손, 미승인 구역 이동, 미등록 객체 선택 등 7가지 잠재적 위험 시나리오를 검증할 수 있습니다. 특히 앤트로픽(Anthropic)이 제안한 모델 하드웨어 표준(Model Hardware Standard, MHS)의 '안전 평가 및 모범 사례'를 염두에 두고 개발되어, 향후 MHS 표준이 확립되면 더욱 긴밀하게 통합될 예정입니다.
이러한 안전성 평가 도구의 등장은 AI 로봇의 산업 현장 도입에 있어 중요한 의미를 가집니다. AI 에이전트가 자율적으로 복잡한 작업을 수행할수록 예상치 못한 오작동의 위험이 커지는데, URML과 같은 시스템은 이러한 위험을 체계적으로 관리하고 줄이는 데 필수적입니다. 이는 AI 로봇이 단순 반복 작업을 넘어 제조, 물류, 연구 등 다양한 분야에서 신뢰할 수 있는 파트너로 자리매김하는 데 필요한 기반을 제공하며, 궁극적으로 AI 기술의 안전하고 책임감 있는 발전을 촉진할 것입니다.