Mesh LLM은 여러 대의 컴퓨터에 분산된 GPU와 메모리를 하나의 통합된 컴퓨팅 자원처럼 활용하여 대규모 언어모델(LLM)을 실행하는 새로운 접근 방식을 제시합니다. 이는 기존의 중앙 집중식 클라우드 기반 LLM 서비스와 달리, 사용자가 보유한 하드웨어를 최대한 활용하여 비용을 절감하고 데이터 통제권을 강화하는 것을 목표로 합니다. 표준 OpenAI API와 호환되는 인터페이스를 제공하여 개발자들이 쉽게 기존 워크플로우에 통합할 수 있도록 설계되었습니다.
이 시스템은 요청을 처리하는 세 가지 주요 경로를 제공합니다. 첫째, 현재 머신의 로컬 GPU에서 모델을 직접 실행합니다. 둘째, 필요한 모델을 이미 적재한 다른 피어(peer)로 요청을 전달합니다. 셋째, 단일 머신에 들어가지 않는 대형 모델의 경우, ‘Skippy’라는 내부 분할 실행 모드를 통해 여러 머신에 걸쳐 파이프라인 방식으로 모델 계층을 나눠 실행합니다. 각 노드는 iroh 기반의 P2P(Peer-to-Peer) 네트워크 엔드포인트를 실행하며, 중앙 서버 없이 NAT 통과 및 홀 펀칭 기술을 활용하여 직접적이고 인증된 QUIC 연결을 구성합니다. 약 18MB의 경량 소프트웨어로 공개 메시 참여나 사설 배포가 가능하며, 40개 이상의 모델을 포함하는 플러그인 기반 카탈로그를 제공합니다.
Mesh LLM은 외부 데이터센터와 사용량 기반 API에 대한 의존도를 낮춰 LLM 운영 비용을 크게 줄일 수 있다는 점에서 중요합니다. 기업이나 개인이 이미 보유한 GPU 자원을 효율적으로 활용하여, 사용량 증가에 따른 비용 부담을 줄이고 데이터 프라이버시 및 보안을 강화할 수 있습니다. 특히, 추론(inference) 과정에서 발생하는 네트워크 지연 시간이 관건이지만, 로컬 또는 기업 네트워크 환경에서는 충분히 실용적인 속도를 제공할 수 있으며, 프리필(prefill) 단계에서는 분산 구성이 오히려 더 빠를 수 있다는 분석도 나옵니다. 이 프로젝트는 궁극적으로 폐쇄형 서버 종속성을 줄이고 P2P 기술 활용을 확대하여 AI 컴퓨팅의 탈중앙화를 촉진하는 데 기여할 것으로 기대됩니다.