애플이 최근 공개한 M2 울트라(Ultra) 칩을 탑재한 맥 스튜디오(Mac Studio)와 맥 프로(Mac Pro)가 AI 개발자들 사이에서 뜨거운 관심을 받고 있습니다. 이 새로운 맥(Mac) 모델들은 온디바이스(on-device)에서 대규모 언어모델(LLM) 추론(inference) 및 미세조정(fine-tuning) 작업을 효율적으로 수행할 수 있는 강력한 성능을 제공하며, 월 200달러에 달하는 클라우드 기반 AI 개발 비용을 대체할 잠재력을 보여주고 있습니다.
M2 울트라 칩은 최대 192GB의 통합 메모리(Unified Memory)를 지원하며, 이는 엔비디아(NVIDIA)의 고성능 GPU(그래픽 처리 장치)인 A100의 80GB 메모리를 훨씬 뛰어넘는 수준입니다. 이러한 대용량 메모리는 거대 AI 모델을 온전히 기기 내에 로드하여 실행할 수 있게 하며, 특히 LLM 추론과 미세조정 작업에서 클라우드 GPU 사용 시 발생하는 데이터 전송 지연과 비용 문제를 해결할 수 있습니다. 예를 들어, 70억 개 파라미터(parameter) 규모의 라마 2(Llama 2) 모델은 16GB 메모리로도 충분히 구동 가능하며, 700억 개 파라미터 모델도 128GB 메모리에서 실행할 수 있어 M2 울트라의 192GB 메모리는 매우 유리한 환경을 제공합니다.
이러한 온디바이스 AI 개발 환경은 개발자들이 클라우드 서비스에 지불하는 GPU 사용료를 크게 절감할 수 있게 합니다. 현재 많은 AI 개발자들이 월 수백 달러에 달하는 클라우드 GPU 비용을 지출하고 있으며, 맥 울트라의 도입은 이러한 비용 부담을 줄여주는 동시에, 데이터 보안 및 프라이버시 측면에서도 이점을 제공합니다. 또한, 로컬 환경에서 더 빠르고 유연한 개발 및 테스트가 가능해져 AI 모델 개발의 효율성을 높일 수 있을 것으로 기대됩니다. 이는 특히 1인 개발자나 소규모 스타트업에게 매력적인 대안이 될 수 있습니다.