최근 ExpertCache라는 실험적인 기술을 통해 애플 M1 Pro 칩이 탑재된 16GB 메모리 맥북에서 63GB 크기의 GPT-OSS 120B 대규모 언어모델(LLM)을 성공적으로 실행하는 데 성공했습니다. 이는 일반적으로 훨씬 더 많은 메모리와 컴퓨팅 자원을 요구하는 대형 AI 모델을 개인용 기기에서 구동할 수 있음을 보여주는 중요한 기술적 성과입니다.
ExpertCache는 애플 실리콘(Apple Silicon)에 최적화된 페이지 인식(page-aware) 메탈(Metal) 런타임으로, 전체 전문가 텐서(expert tensor)를 활성 메모리(Metal working set)에 모두 로드하지 않고도 오버사이즈 희소 혼합 전문가(sparse mixture-of-experts, MoE) 체크포인트를 실행할 수 있도록 설계되었습니다. 이 기술은 모델의 일부만 필요할 때 로드하고 사용 후 해제하는 방식으로 메모리 효율성을 극대화합니다. 16GB M1 Pro 시스템에서는 0.75 토큰/초의 느린 속도를 보였지만, 64GB M1 Max 시스템에서는 5.75에서 9.80 토큰/초로 성능이 향상되었으며, 120B 모델의 기능적 유용성을 입증했습니다.
이러한 결과는 제한된 하드웨어 환경에서도 대규모 AI 모델을 활용할 수 있는 새로운 가능성을 제시합니다. 특히, 고가의 GPU 서버 없이도 개인 기기에서 복잡한 AI 작업을 수행할 수 있게 됨으로써, 개발자나 연구자들이 더 쉽게 대형 모델을 실험하고 접근할 수 있는 길이 열릴 수 있습니다. 비록 현재는 연구 단계이며 상업적 활용을 위한 속도는 아니지만, 향후 기술 발전과 최적화를 통해 온디바이스 AI(On-device AI)의 확산에 기여할 잠재력을 가지고 있습니다.