최근 대규모 언어모델(LLM)은 점차 고도화되면서 개인 개발자나 사용자가 접근하기 어려워지고 있습니다. Fable5와 같은 최상위 모델은 접근이 제한적이며, 로컬에서 LLM을 실행하려 해도 높은 GPU 메모리와 복잡한 설정이 필요해 많은 이들이 좌절하곤 합니다. 이러한 AI 기술의 중앙집중화 현상에 맞서, DRIFT 프로젝트는 여러 개인 기기를 활용해 하나의 LLM을 분산 실행하는 새로운 해법을 제시했습니다.
DRIFT는 하나의 LLM을 디코더 레이어(decoder layer) 단위로 자동 분할하여 여러 개인 기기에 나눠 실행하는 오픈소스 프로젝트입니다. 특히 주목할 점은 Mac의 Apple GPU(MPS)와 Windows/Linux PC의 NVIDIA GPU(CUDA)를 혼합하여 사용할 수 있다는 것입니다. 이는 노드 간 통신을 PyTorch 객체나 CUDA 핸들이 아닌 TCP + msgpack 기반의 중립적인 바이트 프로토콜로 처리하기 때문에 가능합니다. 또한, P2P 체인 모드를 통해 헤드 노드의 대역폭 병목 현상을 완화하고, X25519, ChaCha20-Poly1305 기반 암호화 및 Ed25519 서명으로 보안과 작업 검증을 강화했습니다. 노드가 중간에 중단되어도 재분할(re-split) 및 재실행(replay) 기반의 페일오버(failover) 기능을 제공하며, 외부에는 OpenAI 호환 HTTP API를 제공하여 편의성을 높였습니다.
이론적으로 Qwen 모델 기준 최대 28대, Gemma 모델 기준 최대 35대까지 하나의 모델을 나눠 실행할 수 있으며, 현재 현실적인 최적점은 2~4대 수준입니다. 기존 유사 프로젝트인 Exo나 llama.cpp RPC와 비교했을 때, DRIFT는 특정 머신러닝(ML) 런타임에 묶이지 않고 중립적인 프로토콜을 사용한다는 점에서 차별점을 가집니다. 이는 Apple MPS와 NVIDIA CUDA와 같이 이질적인 환경을 하나의 분산 런타임으로 묶기 어려운 조합을 가능하게 합니다. DRIFT는 속도보다는 분산 실행 시 단일 머신과 동일한 정확한 결과가 나오는지를 검증하는 데 우선순위를 두며, 이미 Mac MPS와 NVIDIA CUDA를 혼합한 환경에서 여러 테스트를 통과했습니다.
DRIFT 프로젝트는 AI 기술이 특정 하드웨어와 플랫폼에 집중되는 중앙집중화 경향에 대한 현실적인 대안을 제시합니다. 개인의 컴퓨팅 자원을 모아 최신 LLM에 대한 접근성을 높이고, AI의 탈중앙화를 단순한 토큰 경제나 거대 네트워크 이야기가 아닌 실제 실행 계층에서부터 시작하려는 시도입니다. 이는 개인이 최신 AI 기술을 직접 다루고 실험할 수 있는 기회를 확장하며, 궁극적으로 AI 생태계의 다양성과 혁신을 촉진할 수 있을 것으로 기대됩니다.