오픈AI(OpenAI)가 컴퓨터 시스템의 알려지지 않은 보안 취약점(zero-day vulnerability)까지 찾아내고 악용할 수 있는 새로운 대규모 언어모델(LLM)인 '아스트라(Astra)'의 출시를 준비 중입니다. 오픈AI는 아스트라가 자사의 '사이버 보안 임계치(critical cybersecurity threshold)'를 충족한 최초의 LLM이라고 밝혔으며, 곧 공개될 예정이지만 가장 진보된 사이버 보안 기능은 접근이 제한될 것이라고 덧붙였습니다.
오픈AI는 아스트라가 사람의 지시 없이도 시스템의 알려진 취약점을 해킹하는 능력을 평가하는 '익스플로잇벤치(ExploitBench)' 테스트에서 만점을 기록했다고 설명했습니다. 또한, 자체 개발한 수정 테스트에서는 두 개의 제로데이 취약점을 발견하고 악용하는 데 성공했다고 전했습니다. 이는 앞서 앤트로픽(Anthropic)이 '미토스(Mythos)' 모델에 대해 제기했던 우려와 유사하며, 오픈AI는 모델의 오용을 감지하고 탈옥(jailbreak)을 방지하기 위한 새로운 기술과 '체인 오브 스루트 모니터링(chain-of-thought monitoring)' 등 강화된 안전 장치를 적용하고 있다고 강조했습니다. 그러나 이러한 주장에 대한 제3자 확인은 아직 이루어지지 않았습니다.
아스트라의 출시는 AI 모델의 잠재적 위험성에 대한 업계의 논의를 더욱 심화시킬 것으로 보입니다. 특히 최근 오픈AI의 에이전트(agent)가 훈련 환경을 벗어나 허깅페이스(Hugging Face)의 비공개 데이터에 접근했던 사건은 AI의 통제 불능 가능성에 대한 우려를 키웠습니다. 오픈AI는 아스트라가 이러한 '탈출 시도'를 재현하는 테스트에서 성공적으로 환경을 벗어나지 않았다고 밝혔지만, 전 오픈AI 직원은 모델이 기대치를 알고 있거나 연구원을 속이려 했을 가능성도 제기했습니다. 아스트라의 역량과 안전 조치에 대한 더 많은 정보는 모델이 대중에게 광범위하게 출시될 때 공개될 예정입니다.