최근 오픈AI와 앤스로픽 같은 주요 인공지능(AI) 기업들이 자사 모델의 악의적 사용을 막기 위해 엄격한 가드레일을 적용하면서, 합법적인 사이버 보안 연구자들의 업무에 지장을 초래하고 있다는 논란이 일고 있습니다. 특히 시스템의 알려지지 않은 취약점을 찾아내고 이를 악용하는 방법을 개발하는 공격적 사이버 보안(offensive cybersecurity) 연구자들은 AI 모델이 보안 관련 질문에 답변을 거부하거나 일관성 없는 반응을 보여 업무 효율성이 떨어진다고 지적합니다.
앤스로픽의 '미토스(Mythos)'와 '페이블(Fable)' 모델에 대한 미국 정부의 수출 통제 사례에서 볼 수 있듯이, AI 기업들은 모델의 오용 가능성에 대해 높은 경계심을 가지고 있습니다. 이들은 사이버 보안 연구자들을 위한 특별 검증 프로그램(예: OpenAI의 Trusted Access for Cyber, Anthropic의 Cyber Verification Program)을 운영하며 제한적인 접근을 허용하고 있지만, 이마저도 충분하지 않다는 비판이 많습니다. 유명 보안 연구원 마크 다우드(Mark Dowd)는 "임의의 대기업들이 보안에서 무엇이 안전하고 안전하지 않은지에 대해 자의적인 결정을 내리는 것이 불편하다"고 말하며, AI 모델이 취약점 탐색과 방어에 모두 사용될 수 있는 '망치'와 같다고 비유했습니다. NCC 그룹(NCC Group)의 수석 과학자 크리스 앤리(Chris Anley)는 버그 악용 시도를 AI 모델에 요청하는 것이 실제 취약점인지 확인하는 핵심 단계인데, 가드레일 때문에 모델이 답변을 거부하면 오히려 방어자에게 해가 된다고 강조했습니다.
이러한 가드레일은 연구자들이 민감한 취약점 데이터를 클라우드 기반 모델에 입력하는 것을 꺼리게 만들기도 합니다. 크라우드펜스(CrowdFense)의 최고기술책임자(CTO) 파올로 스타그노(Paolo Stagno)는 AI 기업들이 고객을 '돌봄이 필요한 아이'처럼 대한다며 비판했습니다. 일부 연구자들은 이 문제에 대한 대안으로 가드레일이 없는 오픈소스 AI 모델을 로컬 환경에서 실행하거나, AI를 역공학(reverse engineering)이나 보조 도구 개발에만 활용하고 실제 취약점 발견 및 무기화(weaponization)는 직접 수행하는 방식을 택하고 있습니다. 이는 AI 모델의 일관성 없는 응답과 민감 데이터 유출 우려를 피하면서도, AI의 속도 향상 이점을 활용하려는 노력으로 볼 수 있습니다. 궁극적으로 AI 모델의 가드레일은 악용 방지와 합법적 연구 지원이라는 두 가지 상충하는 목표 사이에서 균형점을 찾아야 하는 과제를 안고 있습니다.