인공지능(AI) 모델의 유해성 방지 안전장치(guardrail)를 제거한 버전을 상업적으로 제공하는 스타트업 애블리터레이션.AI(Abliteration.ai)가 등장해 논란이 되고 있습니다. 이 회사는 오픈소스 AI 모델의 안전장치 제거 기술을 서비스화하여, 사용자들이 웹 브라우저나 API를 통해 쉽게 접근할 수 있도록 했습니다. 이는 기존에 연구자나 개발자들이 비공식적으로 수행하던 작업을 상업적 영역으로 끌어올린 것으로, AI 안전과 악용 가능성에 대한 중요한 질문을 던지고 있습니다.
애블리터레이션.AI는 최근 출시된 Z.ai의 GLM-5.3을 포함한 여러 오픈 가중치(open-weight) 모델의 수정 버전을 호스팅하고 있습니다. 이들은 '공격적인 사이버 활동, 레드팀(red-teaming) 테스트, 에이전트 테스트' 등 기존 모델이 거부하던 작업을 수행할 수 있도록 돕는 것이 목표라고 밝혔습니다. 이는 방어자가 공격자와 동일한 도구를 사용해 취약점을 파악하고 방어 전략을 강화할 수 있다는 사이버 보안 분야의 오랜 논리와 일맥상통합니다. 실제로 테크크런치(TechCrunch)의 테스트 결과, 이 서비스는 크롬(Chrome) 비밀번호를 훔치는 파이썬(Python) 프로그램이나 위험한 병원균 배양 프로토콜을 쉽게 생성했습니다. 애블리터레이션.AI는 아직 벤처 캐피탈 투자를 유치하지 않았지만, 고객 수익만으로 주요 클라우드 제공업체와 계약을 맺고 있다고 전했습니다.
이러한 서비스는 AI 안전 전문가들 사이에서 큰 우려를 낳고 있습니다. AI 안전 비영리 단체 시브AI(CivAI)의 앤드류 윤(Andrew Yoon) 연구 책임자는 안전장치가 제거된 모델을 '사회병질자(sociopath)'에 비유하며, 가까운 미래에 이러한 모델이 해로운 목적으로 사용될 것이라고 경고했습니다. 정부가 GPU 접근에 대한 고객 신원 확인을 의무화하고 유해 활동을 탐지하는 분류기(classifier)를 요구해야 한다는 주장도 나옵니다. 애블리터레이션.AI는 자체적으로 일부 완화된 안전장치를 제공하고 고객이 원하는 가드레일을 추가할 수 있는 기능을 제공하지만, 누가 서비스에 접근할 수 있는지에 대한 책임 문제는 여전히 해결해야 할 과제로 남아 있습니다.
애블리터레이션.AI의 등장은 오픈소스 AI 모델의 확산과 함께 AI 안전의 경계가 어디까지인가에 대한 근본적인 질문을 제기합니다. 창업자 데본(Devon)은 안전장치가 제거된 모델이 '악의적인 행위자를 모델링'하여 방어자들이 더 빠르게 대응하고 사이버 보안을 가속화할 수 있다고 주장합니다. 이미 영국과 유럽의 여러 레드팀 스타트업들이 은행, 항공사 등 중요 인프라를 다루는 기업의 사이버 보안 강화를 위해 이 서비스를 활용하고 있다고 합니다. 하지만, 모든 사람이 이러한 '무검열' 모델에 쉽게 접근할 수 있게 되는 것이 인터넷을 더 안전하게 만들지, 아니면 더 위험하게 만들지는 업계와 정부가 함께 고민해야 할 중요한 문제입니다.