애플 실리콘 칩을 탑재한 맥(Mac) 사용자들을 위한 새로운 로컬 대규모 언어모델(LLM) 추론(inference) 엔진인 '스트림(Strim)'이 공개되었습니다. 스트림은 스위프트(Swift) 언어와 애플의 머신러닝 프레임워크인 MLX를 기반으로 개발되었으며, 특히 코딩 에이전트(coding agents)를 맥에서 직접 구동하는 데 최적화되어 있습니다. 이 프로젝트는 Qwen3.8-27B와 같은 대형 모델을 로컬 환경에서 빠르고 효율적으로 실행할 수 있게 해줍니다.
스트림은 단일 스위프트 바이너리(binary) 형태로 제공되며, 메뉴 바 앱(menu-bar app) 형태로도 설치할 수 있어 사용 편의성이 높습니다. 핵심 기능은 Qwen3.8-27B 4비트 모델을 애플 실리콘 환경에서 가속화하는 것으로, 벤치마크 결과에 따르면 4개의 코딩 에이전트가 16K 공유 접두사(prefix)를 사용할 때 기존 MLX 기반 엔진 대비 2.81배 빠른 토큰 처리 속도를 보였습니다. 또한, 전체 실행 과정에서 피크 메모리 사용량도 더 낮아 자원 효율성이 뛰어납니다. 모든 추론 작업이 사용자 맥 내부에서만 이루어지므로, 민감한 코드나 데이터를 외부에 노출할 필요 없이 안전하게 AI 에이전트를 활용할 수 있다는 점이 큰 장점입니다.
스트림의 등장은 애플 실리콘 맥을 사용하는 개발자와 연구자들에게 중요한 의미를 가집니다. 클라우드 기반 LLM 서비스에 의존하지 않고도 강력한 코딩 에이전트를 로컬에서 실행할 수 있게 되어, 개발 워크플로우의 효율성과 보안을 동시에 높일 수 있습니다. 이는 특히 민감한 기업 데이터를 다루거나 인터넷 연결 없이 작업해야 하는 환경에서 매우 유용합니다. 또한, 스위프트와 MLX를 활용한 최적화는 애플 하드웨어의 잠재력을 최대한 끌어내어, 온디바이스(on-device) AI의 가능성을 확장하는 데 기여할 것으로 보입니다.