개인용 컴퓨터에서 대규모 인공지능(AI) 모델을 직접 실행할 수 있게 하는 오픈소스 프로젝트 '스트라타(Strata)'가 공개되어 주목받고 있습니다. 이 프로젝트는 일반적으로 고성능 서버가 필요한 1250억 매개변수 규모의 '큐웬 3.8 플래시 넥스트(Qwen 3.8 Flash Next)'와 같은 대규모 언어모델(LLM)을 엔비디아(NVIDIA) 또는 AMD 그래픽카드(VRAM 12GB 이상)를 장착한 일반 게이밍 PC에서 구동할 수 있도록 지원합니다. 이는 사용자가 인터넷 연결 없이도 개인 정보 유출 걱정 없이 AI를 활용할 수 있는 새로운 가능성을 열었습니다.
스트라타는 윈도우(Windows) 또는 리눅스(Linux) 환경에서 작동하며, 최소 12GB VRAM을 가진 엔비디아 지포스(GeForce) RTX 20, 30, 40, 50 시리즈 또는 AMD 라데온(Radeon) RX 7900 XT/XTX 등 최신 그래픽카드를 요구합니다. 또한 32GB 이상의 RAM과 약 80GB의 저장 공간이 필요하며, SSD 사용 시 초기 설정 속도가 훨씬 빠릅니다. 스트라타는 모델의 압축률에 따라 다양한 크기를 제공하여 사용자의 RAM 용량에 맞춰 선택할 수 있도록 합니다. 예를 들어, 64GB RAM 환경에서는 'IQ2_XS' 또는 'IQ3_XXS/IQ3_S'와 같은 모델을 실행할 수 있으며, RTX 3090(24GB VRAM)에서는 초당 100~140 토큰(token)의 답변 생성 속도를 보였습니다.
이 기술은 AI 모델의 접근성을 획기적으로 높여, 클라우드 기반 서비스에 의존하지 않고도 개인 정보 보호와 보안을 강화하며 AI를 활용할 수 있게 합니다. 특히 인터넷 연결이 제한적인 환경이나 민감한 데이터를 다루는 경우에 유용하며, 개발자나 연구자들이 개인 장비에서 대규모 모델을 실험하고 미세조정(fine-tuning)하는 데 큰 도움이 될 것입니다. 또한, 이는 AI 기술의 탈중앙화(decentralization)를 가속화하고, 더 많은 사용자가 AI를 직접 제어하고 맞춤 설정할 수 있는 기회를 제공하여 AI 생태계 전반에 걸쳐 혁신을 촉진할 잠재력을 가지고 있습니다.