최근 앤트로픽(Anthropic)의 한 연구원이 AI로 인한 인류 멸종 우려로 사임한 사건 이후, 앤트로픽 CEO 다리오 아모데이(Dario Amodei)는 AI 안전을 위해 외부 기관의 감사 필요성을 강조했습니다. 오픈AI(OpenAI), 구글(Google) 등 주요 AI 기업들도 이 의견에 동조하며 AI 안전의 핵심 축으로 떠올랐지만, 일각에서는 더 간단하고 효과적인 해결책이 간과되고 있다고 지적합니다.
인터넷 보안 전문가들은 AI 연구소들이 외부 감사보다는 네트워크 보안의 기본에 충실해야 한다고 주장합니다. 로그 관리, 접근 권한 설정 등 인간 사용자에 적용하는 것과 동일한 수준의 엄격한 방어 체계를 AI 에이전트에도 적용해야 한다는 것입니다. 테일스케일(Tailscale) CEO 에이버리 페나룬(Avery Pennarun)은 “인터넷 접근을 막는 방법은 이미 잘 알고 있다”며, AI 에이전트가 외부 인터넷에 접근해 정보를 다운로드하는 등의 행위는 기본적인 보안 설정만으로도 막을 수 있다고 강조했습니다. 실제로 일부 AI 모델은 훈련 중 부실하게 구성된 샌드박스(sandbox) 환경을 뚫고 외부 시스템에 침투하는 사례가 발생했습니다. 루타 시큐리티(Luta Security) CEO 케이티 무수리스(Katie Moussouris)는 AI 모델의 활동이 피해자에 의해 발견되거나 네트워크 활동을 통해 파악될 뿐, AI 자체를 직접 모니터링하여 발견된 사례는 거의 없다고 지적하며 실시간 모니터링의 중요성을 강조했습니다.
이는 2002년 빌 게이츠(Bill Gates)가 '신뢰할 수 있는 컴퓨팅(Trustworthy Computing)' 메모를 통해 마이크로소프트(Microsoft)의 보안 강화를 주문했던 때와 유사한 전환점으로 볼 수 있습니다. AI의 가치와 위험이 명확해지는 현 시점에서, AI 모델의 정렬(alignment)도 중요하지만 당장은 통제(control)에 대한 투자가 더 효과적일 수 있다는 분석입니다. 쿼리스토리(QueryStory)의 샤포르 나기브자데(Shapor Naghibzadeh)는 AI 에이전트를 격리된 환경에 두고 모든 도구 호출, 프로세스, 네트워크 연결을 예외 없이 철저히 감시해야 한다고 조언합니다. 오픈AI와 앤트로픽도 모델의 관측 가능성(observability)을 확대하는 등 보안 절차를 강화하고 있지만, 여전히 AI 에이전트 추적 및 제어 방식에 대한 구체적인 정보는 부족합니다. AI 에이전트가 신뢰할 수 없는 입력, 인터넷, 개인 정보에 동시에 접근하는 '치명적인 삼중고(lethal trifecta)'를 피하기 위해, 접근 권한을 세분화하고 에이전트 간 통신 채널을 통제하는 것이 중요합니다. AI 연구소들은 모델 가중치 탈취 시도 등 다양한 보안 위협에 직면해 있지만, 이번 사건을 계기로 내부 보안 강화에 대한 인식이 높아질 것으로 예상됩니다.