Baseten의 연구 조직인 Base Labs가 오픈소스 AI 모델의 안전성 강화를 위해 휴깅페이스(Hugging Face), 굿파이어 AI(Goodfire AI)와 손잡고 새로운 안전 인프라 표준을 발표했습니다. 이번 협력은 오픈소스 모델의 안전성 논란이 커지는 가운데, 모델 훈련 및 배포 과정에 투명하고 내재화된 안전성 메커니즘을 구축하는 것을 목표로 합니다.
최근 '제거(abliteration)'라는 기술을 통해 오픈소스 모델의 안전장치를 제거하여 위험하게 만들 수 있다는 우려가 커지고 있습니다. 실제로 오픈소스 AI 모델을 호스팅하는 휴깅페이스에는 6,000개가 넘는 제거된(abliterated) 모델이 등록되어 있을 정도로 문제의 심각성이 큽니다. Base Labs는 이러한 문제를 해결하기 위해 오픈 모델의 훈련 및 모니터링 방법을 개발하고 공개할 예정입니다. 이들은 안전성을 사후에 덧붙이는 방식이 아니라, 모델 설계 단계부터 투명하게 통합된 '표준'을 제시하려 합니다. Baseten은 AI 안전성에서 개방성이 오히려 강점이라고 강조하며, 개방을 통해 모델 동작에 대한 가시성을 높이고 안전 연구를 실질적인 통제로 전환할 수 있다고 설명했습니다.
이번 파트너십의 기술적 세부 사항은 아직 공개되지 않았지만, 굿파이어 AI는 '안전성은 오픈 모델에 내재되어야 하며, 이를 제공하는 주체가 책임져야 한다'고 밝혀 모델 해석 가능성(interpretability) 전문 기업인 굿파이어 AI가 '내재화' 부분에 핵심 역할을 할 것으로 보입니다. AI 추론(inference) 제공업체인 Baseten은 올해 6월 15억 달러 규모의 시리즈 F 투자를 유치하며 기업 가치 130억 달러를 기록했고, 굿파이어 AI 역시 올해 초 B Capital이 주도한 1억 5천만 달러 규모의 시리즈 B 투자를 유치하는 등 양사 모두 탄탄한 자본력을 갖추고 있습니다. Baseten은 더 나아가 광범위한 개발자 생태계에 이번 프레임워크에 기여해 줄 것을 요청하며, 안전하고 접근 가능한 오픈 모델 생태계를 함께 구축하자고 제안했습니다. 이는 오픈소스 커뮤니티의 집단 지성을 활용하여 AI 안전성 문제를 해결하려는 시도로 해석됩니다.