최근 한 연구에서 애플 실리콘(Apple Silicon) 기반의 맥(Mac)에서 로컬 대규모 언어모델(LLM)을 구동할 때 드는 실제 전력 소비량과 비용이 상세히 측정되어 주목받고 있습니다. 이 실험은 70억(7B) 및 700억(70B) 매개변수 LLM을 대상으로 진행되었으며, 클라우드 기반 LLM 사용료와 비교했을 때 로컬 구동이 압도적으로 저렴하다는 사실을 밝혀냈습니다.
측정 결과에 따르면, 7B 모델을 구동하는 데는 시간당 약 0.002달러(약 2.7원)의 전기료가 들었으며, 더 큰 70B 모델은 시간당 약 0.02달러(약 27원)가 소요되었습니다. 이는 텍스트 생성 작업에 특화된 벤치마크를 통해 얻어진 수치로, 애플 실리콘 칩의 전력 효율성이 LLM 구동에 매우 유리하다는 것을 보여줍니다. 특히, 애플의 통합 메모리 아키텍처는 CPU와 GPU가 메모리를 공유하여 대규모 모델을 효율적으로 처리할 수 있게 합니다.
이러한 결과는 여러 가지 중요한 의미를 가집니다. 첫째, 개인 정보 보호에 민감한 사용자나 기업에게 데이터를 외부 클라우드에 전송하지 않고도 LLM의 이점을 누릴 수 있는 강력한 대안을 제시합니다. 둘째, 클라우드 LLM API 사용에 드는 높은 비용 부담을 줄여주어, 개발자와 스타트업이 혁신적인 AI 애플리케이션을 더 저렴하게 개발하고 실험할 수 있는 기회를 제공합니다. 이는 AI 기술의 민주화와 확산에 크게 기여할 잠재력을 가지고 있습니다.