애플 연구진이 사내에 흩어져 있는 유휴 맥(Mac) 컴퓨터의 애플 실리콘(Apple Silicon) GPU 자원을 활용하여 대규모 머신러닝 추론(inference) 작업을 분산 처리하는 시스템 '미니언즈(Minions)'를 개발했습니다. 이 시스템은 기존 하드웨어를 최대한 활용함으로써 값비싼 GPU 인프라 추가 구매 부담을 줄이고, 급증하는 추론 수요로 인해 발생하는 중앙 GPU 인프라의 자원 부족과 긴 대기 시간 문제를 해결하는 데 목적이 있습니다.
미니언즈는 하나의 거대한 모델을 여러 맥의 메모리에 걸쳐 실행하는 '모델 병렬화' 방식이 아닌, 큰 추론 작업을 여러 개의 독립적인 하위 작업으로 나누어 각 맥이 맡아 실행하는 '작업 수준 병렬화'에 초점을 맞춥니다. 예를 들어, 수백만 개의 문서에 대한 임베딩(embedding) 생성이나 올라마(Ollama) 기반 대규모 언어모델(LLM) 추론과 같은 작업에 활용됩니다. 미니언즈 서버는 웹 UI와 API를 통해 작업을 접수하고 하위 작업으로 분할하며, 각 맥의 미니언즈 실행기(Executor)가 REST API로 작업을 가져와 로컬에서 처리합니다. 네트워크 단절이나 전원 종료 등으로 작업이 중단되면 다른 기기에 재할당하여 이어서 처리하는 장애 복구 기능도 갖추고 있습니다.
이 시스템은 여러 애플 내부 팀의 운용 사례에서 기존에 10시간 이상 걸리던 일부 작업의 실행 대기 시간을 단 몇 분 수준으로 단축하는 효과를 보였습니다. 이는 추가적인 하드웨어 투자 없이 기존 자원을 효율적으로 활용하여 얻은 결과입니다. 애플은 향후 미니언즈를 분산 모델 학습(distributed model training)과 조직 간 자원 공유로 확장할 계획이며, 이는 온디바이스(on-device) AI와 클라우드 AI의 균형을 모색하는 애플의 전략적 방향과도 일치합니다. 이러한 접근 방식은 기업들이 이미 보유한 컴퓨팅 자원을 최대한 활용하여 AI 워크로드를 처리하는 새로운 가능성을 제시합니다.