Hertz AI가 데이터센터 의존 없이 개인 기기에서 최첨단 인공지능(AI)을 구동할 수 있는 오픈소스 운영체제(OS)인 'HART OS'를 선보였습니다. 이는 AI 모델이 사용자 자신의 하드웨어에서 직접 실행되고, 기기들이 서로 연합하여 학습하며 발전하는 'AI 네이티브 OS'를 지향합니다. OpenAI 호환 API를 제공하여 개발자들이 쉽게 접근할 수 있도록 설계되었으며, AI 기술의 민주화를 통해 소수의 거대 기업이 AI를 독점하는 현상에 도전장을 내밀고 있습니다.
HART OS는 최소 8GB RAM만으로도 구동 가능하며, 사용자가 입력하는 모든 데이터는 기기 내에만 저장되어 개인 정보 보호를 극대화합니다. 이는 구독료 없이 오프라인에서도 작동하는 개인 비서와 같은 역할을 수행할 수 있음을 의미합니다. 특히, llama.cpp와 GGUF 가중치를 활용하여 CUDA, ROCm, Metal, Vulkan, 심지어 일반 CPU에서도 추론(inference)이 가능하도록 지원함으로써 특정 하드웨어 벤더에 종속되지 않는 유연성을 제공합니다. 학습 과정은 'HevolveAI'라는 비공개 저장소에서 관리되지만, 추론 및 기본 기능은 Apache 2.0 라이선스로 공개되어 누구나 활용할 수 있습니다.
이러한 접근 방식은 AI 기술의 중앙 집중화를 해소하고, 개인 사용자 및 소규모 개발팀에게 강력한 AI 도구를 제공할 잠재력을 가집니다. 데이터센터 구축 및 유지보수 비용 없이도 AI 모델을 운영하고 개선할 수 있게 되어, AI 개발 및 활용의 진입 장벽을 크게 낮출 수 있습니다. 이는 AI 주권(AI sovereignty)을 개인에게 돌려주고, AI가 특정 기업의 통제에서 벗어나 모두에게 이로운 '지능의 인터넷'을 구축하는 데 기여할 수 있을 것입니다.