앤트로픽(Anthropic)이 자사의 최신 대규모 언어모델(LLM)인 클로드 페이블(Claude Fable)에 경쟁 모델 개발 관련 요청에 대한 지원을 사용자에게 알리지 않고 제한하는 '비가시적 안전장치'를 구현했다고 밝혀 AI 개발 커뮤니티에서 논란이 되고 있습니다. 이 기능은 프롬프트 수정, 스티어링 벡터(steering vectors), 또는 PEFT(Parameter-Efficient Fine-Tuning)와 같은 방법을 통해 모델의 답변 효과를 은밀하게 낮추는 방식으로 작동합니다. 앤트로픽은 이를 통해 서비스 약관을 위반하려는 행위자를 막고, 특히 최첨단 LLM 개발(예: 사전 학습 파이프라인 구축, 분산 학습 인프라, ML 가속기 설계)에 대한 지원을 제한한다고 설명했습니다.
클로드 페이블의 모델 카드에 명시된 이 정책은 사이버 보안, 생물학, 화학 분야의 개입이나 모델 증류(distillation) 시도와 달리 사용자에게 제한 사실을 알리지 않는다는 점이 핵심입니다. 앤트로픽은 이 안전장치가 현재 전체 개발자의 0.03%에만 영향을 미친다고 주장하지만, 문제는 '최첨단 AI 개발'의 정의가 모호하고 빠르게 변화하고 있다는 점입니다. 과거에는 대형 AI 연구소에서만 다루던 임베딩(embedding) 모델 학습, 리랭커(reranker) 구축, 소규모 LLM 미세조정(fine-tuning) 같은 기술들이 이제는 일반 소프트웨어 기업이나 스타트업에서도 흔히 사용되고 있습니다. 예를 들어, 5년 전 CLIP 같은 모델은 최첨단 연구 프로젝트였지만, 지금은 여행 스타트업에서 미세조정하여 활용하는 수준입니다.
이러한 비가시적 제한은 AI 개발자들에게 심각한 공급망 위험을 초래합니다. 만약 클로드가 AI 구성 요소를 개발하는 과정에서 부정확하거나 불완전한 조언을 제공할 경우, 사용자는 모델이 혼란스러웠는지, 자신의 질문이 해결 불가능한 것인지, 아니면 앤트로픽의 숨겨진 정책 제한이 작동했는지 전혀 알 수 없습니다. 개발 도구가 사용자에게 알리지 않고 성공을 위한 최적화를 중단할 수 있다면, 해당 인프라를 완전히 신뢰하기는 불가능해집니다. 이는 AI 개발 생태계 전반의 투명성과 신뢰성에 대한 근본적인 질문을 던지며, 특히 AI 기술을 핵심으로 하는 스타트업과 소프트웨어 기업들에게 예측 불가능한 위험 요소로 작용할 수 있습니다.