애플 실리콘(Apple Silicon) 칩을 탑재한 맥(Mac)에서 구동되는 macOS 가상머신(VM)의 대규모 언어모델(LLM) 추론(inference) 성능이 획기적으로 개선되었습니다. 큐아(Cua) 팀은 가상 GPU의 메탈(Metal) API 호환성 계층(compatibility layer)을 최적화하여, 라마.cpp(llama.cpp) 같은 LLM 추론 프레임워크가 최신 GPU 기능을 온전히 활용할 수 있도록 만들었습니다. 이를 통해 M1 울트라(M1 Ultra) 칩 기반 VM에서 프롬프트(prompt) 처리 속도는 11배, 토큰(token) 생성 속도는 16배 이상 빨라졌으며, 이는 베어메탈(bare-metal) 환경의 98%에 달하는 성능입니다.
이번 성능 향상은 애플의 가상화 프레임워크(Virtualization.framework)가 macOS 게스트(guest)에 가상 그래픽 장치를 제공할 때 발생하는 제약을 해결한 결과입니다. 기존에는 가상 장치가 구형 애플 GPU의 메탈 API 기능만 보고하여, 라마.cpp와 같은 최신 소프트웨어가 최적화된 GPU 커널(kernel)을 사용하지 못했습니다. 큐아 팀은 게스트 프로세스 내에서 특정 메탈 API 쿼리(query)에 대한 응답을 변경하는 '호환성 심(shim)'을 개발했습니다. 이 심은 가상 GPU가 애플 패밀리 9(Apple family 9) 및 64KB의 최대 스레드그룹 메모리(threadgroup memory)를 지원한다고 보고하여, 라마.cpp가 SIMD-그룹 행렬(SIMD-group matrix) 및 bfloat16 경로와 같은 최신 GPU 기능을 사용할 수 있게 했습니다. 구글의 제마 4 12B(Gemma 4 12B) 모델과 메타의 뮤즈 글리머 30B(Muse Glimmer 30B) 모델 테스트에서도 각각 7~14배, 7~8배의 속도 향상을 보였습니다.
이번 연구 결과는 애플 실리콘 맥에서 LLM을 개발하고 활용하는 개인 개발자 및 기업에게 큰 의미를 가집니다. 가상머신 환경에서 베어메탈에 준하는 성능으로 LLM을 구동할 수 있게 됨으로써, 개발자들은 보다 유연하고 효율적인 개발 환경을 구축할 수 있습니다. 특히, 가상화 환경에서 LLM 추론 성능 저하로 어려움을 겪던 사용자들에게는 희소식이며, 이는 향후 macOS 기반의 AI 개발 생태계 확장에도 긍정적인 영향을 미칠 것으로 예상됩니다. 큐아 팀은 이 연구 결과를 오픈 소스로 공개하여 더 많은 개발자들이 이 기술을 활용하고 개선할 수 있도록 했습니다.