최근 AI 모델의 활용이 급증하면서 모델 자체의 보안 취약점과 공급망 위험에 대한 우려가 커지고 있습니다. 이러한 문제를 해결하기 위해 AI 모델을 실행하기 전에 잠재적인 보안 위협을 정적으로 검사하는 파이썬(Python) 명령줄 도구인 '모델 실사(Model Due Diligence)'가 공개되어 주목받고 있습니다. 이 도구는 모델 아티팩트나 저장소에 숨겨진 악성 코드, 민감 정보 노출 등 명백한 위험 증거를 찾아내어 사용자가 신뢰할 수 없는 모델을 로드하거나 실행하는 것을 방지하는 데 도움을 줍니다.
모델 실사(model-due-diligence)는 로컬 AI 모델 파일과 복제된 모델 저장소를 올라마(Ollama), 라마.cpp(llama.cpp), LM 스튜디오(LM Studio), 트랜스포머(Transformers)와 같은 런타임에 가져오기 전에 정적 분석을 수행합니다. 주요 기능으로는 파일 인벤토리, SHA-256 해시, 권한 및 심볼릭 링크 검사, 피클(.pickle), .pt, .pth, .bin, .joblib, H5와 같은 고위험 직렬화 형식 탐지, GGUF, 세이프텐서(safetensors), ONNX와 같은 저위험 모델 형식 검증 등이 있습니다. 또한, 의심스러운 텍스트 및 바이너리 문자열, 파이썬 AST(추상 구문 트리)에서 `eval`, `exec`, `compile`과 같은 위험한 함수 사용 여부, `trust_remote_code=True` 설정 사용 여부, 그리고 Git 출처(provenance) 정보까지 확인합니다. 모델스캔(ModelScan), 셈그렙(Semgrep), 밴딧(Bandit), 핍-오딧(pip-audit), 디텍트-시크릿츠(detect-secrets)와 같은 외부 스캐너와 연동하여 더욱 광범위한 보안 검사를 수행하며, 최종적으로 마크다운(Markdown), JSON, SARIF 형식의 보고서를 생성합니다.
이 도구는 모델 실행 전 위험을 줄이는 중요한 '보안 게이트' 역할을 합니다. AI 모델이 악성 코드를 포함하거나 민감한 정보를 노출할 경우, 사용자 시스템에 심각한 피해를 줄 수 있습니다. 모델 실사는 이러한 위험을 사전에 식별하여 개발자와 사용자에게 경고함으로써, 안전하지 않은 모델이 배포되거나 사용되는 것을 막는 데 기여합니다. 이는 단순히 모델의 안전성을 '증명'하는 것이 아니라, 명백한 정적 위험 요소를 '탐지'하여 추가 검토가 필요한지 여부를 판단하는 데 초점을 맞춥니다. 따라서 AI 모델 공급망 전반의 신뢰도를 높이고, 잠재적인 보안 사고를 예방하는 데 필수적인 도구로 자리매김할 것으로 기대됩니다.