텐센트(Tencent)가 AI 인프라와 에이전트의 잠재적 보안 위협을 찾아내는 오픈소스 레드팀 플랫폼 'AI-인프라-가드(AI-Infra-Guard)'를 선보였습니다. 이 플랫폼은 AI 서비스가 구동되는 서버의 알려진 취약점은 물론, AI 에이전트의 도구 오용, 정보 유출, 그리고 대규모 언어모델(LLM)에 대한 탈옥(jailbreak) 공격까지 포괄적으로 검사합니다. 이는 AI 기술의 확산과 함께 증가하는 보안 문제에 대응하기 위한 노력의 일환입니다.
AI-인프라-가드는 Ollama, ComfyUI, vLLM, n8n 등 널리 사용되는 AI 서비스 주소를 입력하면 해당 구성요소와 버전을 식별하고 146개 AI 구성요소와 2,000개 이상의 CVE(Common Vulnerabilities and Exposures) 규칙을 기반으로 취약점을 탐지합니다. 또한, 에이전트 스캔(Agent Scan) 기능을 통해 Dify나 Coze 같은 워크플로에서 에이전트가 도구를 오용하거나 데이터를 유출하는 위험을 자동 평가합니다. 특히 LLM에 대해서는 다양한 탈옥 기법과 데이터셋으로 공격성 프롬프트에 대한 견고성을 시험하고, LLM API에 질의하여 모델의 정체나 중계 과정의 바꿔치기·백도어 징후까지 검사하는 블랙박스 감사 기능도 포함하고 있습니다.
이러한 AI-인프라-가드의 출시는 AI 시스템의 보안을 체계적으로 강화할 수 있는 중요한 도구를 제공한다는 점에서 의미가 큽니다. AI 기술이 산업 전반에 걸쳐 빠르게 도입되면서, AI 모델 자체의 취약점뿐만 아니라 이를 둘러싼 인프라와 에이전트의 보안 위협 또한 간과할 수 없는 문제가 되고 있습니다. 이 플랫폼은 개발자와 기업이 자체 AI 시스템의 보안 상태를 점검하고 개선하는 데 실질적인 도움을 줄 수 있으며, 오픈소스 형태로 제공되어 커뮤니티의 참여를 통해 지속적으로 발전할 가능성을 열어두고 있습니다. 다만, 자체 인증 기능이 없어 공개 네트워크에 직접 노출하지 않고 내부 환경에서만 사용해야 한다는 점은 유의해야 합니다.