최근 한 개발자가 M4 Pro Mac mini(48GB RAM)를 상시 가동하는 로컬 대규모 언어모델(LLM) 서버로 구축해 화제입니다. 그는 약 30분 만에 전체 환경을 설정하고, 추론(inference) 및 에이전트 작업에는 Qwen3.6-35B-A3B 모델을, 간단한 대화에는 Gemma-4-E4B 모델을 활용하고 있습니다. 이 로컬 환경은 클라우드 API 사용 시 발생하는 가격 변동, 사용량 제한, 예고 없는 모델 교체 등의 문제와 민감한 데이터 유출 위험을 회피하면서, 하드웨어 및 전기료 중심의 예측 가능한 비용으로 AI를 활용할 수 있게 해줍니다.
구체적으로, oMLX를 추론 서버로 사용하고 Tailscale을 통해 Mac mini, MacBook, iPhone을 사설망으로 연결하여 Hermes, Apollo, Raycast, Pi 같은 다양한 클라이언트 앱이 동일한 로컬 엔드포인트를 이용하도록 했습니다. Qwen3.6-35B-A3B 4비트 모델은 약 20GB RAM을 사용하며 프롬프트 처리 325 tok/s, 토큰 생성 34 tok/s의 성능을 보였고, Gemma-4-E4B는 약 2.4GB로 가벼운 작업에 적합합니다. 이 구성으로 일상적인 AI 요청의 약 80%를 로컬에서 처리하고, GPT-5나 Claude Opus 같은 고성능 API 모델은 정말 필요한 경우에만 병행하는 하이브리드 방식을 채택했습니다. 특히 Qwen3.6-35B-A3B는 MoE(Mixture of Experts) 모델로, 전체 350억 개 매개변수 중 토큰당 약 30억 개만 활성화되어 48GB RAM 환경에서도 효율적인 운영이 가능합니다.
이러한 로컬 LLM 환경 구축은 개인 개발자나 소규모 팀에게 여러 중요한 시사점을 제공합니다. 첫째, 데이터 보안 측면에서 민감한 코드나 고객 데이터를 제3자 서버로 보내지 않아도 되므로 보안 위험을 크게 줄일 수 있습니다. 둘째, 비용 예측 가능성이 높아져 예산 관리가 용이하며, 네트워크 왕복이 없어 지연 시간(latency)이 감소하고 오프라인 작동까지 가능해 사용자 경험이 향상됩니다. 셋째, 클라우드 공급자의 정책 변경이나 사용량 제한에 구애받지 않고 자유롭게 AI 모델을 활용하고 실험할 수 있다는 점도 큰 장점입니다. Apple Silicon의 발전으로 로컬 모델의 성능과 품질이 API 모델과의 격차를 빠르게 줄이고 있어, 앞으로 더 많은 개인이 자신만의 AI 인프라를 구축할 것으로 예상됩니다.