유명 오픈소스 개발자 안티레즈(antirez)가 애플 실리콘(Apple Silicon) 칩을 위한 초경량 AI 추론(inference) 엔진 'H3-metal'을 공개했습니다. 이 프로젝트는 미니맥스-H3(MiniMax-H3) 모델을 애플의 메탈(Metal) API를 활용해 네이티브로 구동하며, 최소한의 자원으로 고품질 영상 및 오디오를 생성할 수 있도록 설계되었습니다. 특히 M3 맥스(M3 Max)와 M5 맥스(M5 Max) 칩에서 최적의 성능과 메모리 효율성을 목표로 합니다.
H3-metal은 점진적인 개발 방식을 채택하여, 호스트/모델 메타데이터 처리부터 시작해 메탈 블록 패리티, 프롬프트 인코딩, 프롬프트 기반 영상/오디오 생성, 그리고 첫/마지막 프레임 조건화 및 순서 참조 기능까지 구현했습니다. 현재는 프롬프트-투-비디오/오디오(prompt-to-video/audio) 기능과 이미지/영상/오디오 참조(Ref2VA) 기능이 완벽하게 작동합니다. 사용자는 명령줄 인터페이스(CLI)를 통해 모델을 빌드하고, 대화형 세션에서 프롬프트를 입력하여 영상을 생성하거나, 특정 이미지를 참조하여 복잡한 시나리오를 만들 수 있습니다. 예를 들어, '!first opening.png'와 '!last ending.png' 명령으로 시작과 끝 프레임을 지정하거나, '!ref-image person.png'로 참조 이미지를 추가하여 'Picture 1에 있는 사람이 카메라에 손을 흔들게 하라'와 같은 지시를 내릴 수 있습니다.
이 프로젝트는 개인 개발자나 소규모 팀이 고가의 GPU 서버 없이도 애플 기기에서 강력한 AI 모델을 활용할 수 있는 문을 열었다는 점에서 중요합니다. 특히 맥(Mac) 사용자들이 로컬 환경에서 대규모 언어모델(LLM)이나 생성형 AI 모델을 직접 돌려보고 실험할 수 있는 환경을 제공합니다. 이는 AI 기술의 민주화에 기여하며, 새로운 형태의 개인 생산성 도구나 창작 도구 개발을 촉진할 수 있습니다. 또한, 애플 실리콘의 하드웨어 가속 기능을 최대한 활용하여 효율적인 AI 워크플로우를 구축하려는 시도들에게 중요한 참고 자료가 될 것입니다.