대규모 언어모델(LLM)을 실행하는 것은 막대한 비용과 함께 데이터센터에 대한 의존성, 그리고 공급업체에 대한 통제권 상실이라는 문제를 야기합니다. 이러한 문제의식에서 출발한 '메시 LLM(Mesh LLM)'은 사용자가 이미 보유한 여러 기기의 GPU와 메모리를 하나로 묶어 분산 컴퓨팅 환경을 구축합니다. 이는 마치 하나의 거대한 GPU처럼 작동하며, 표준 OpenAI API와 호환되어 기존 AI 애플리케이션에서 쉽게 활용할 수 있습니다.
메시 LLM은 '아이로(iroh)'라는 P2P(Peer-to-Peer) 네트워킹 라이브러리를 기반으로 합니다. 이 시스템은 요청이 들어오면 모델을 로컬에서 실행하거나, 다른 피어(peer)로 라우팅하거나, 심지어 하나의 모델을 여러 기기에 분할하여 파이프라인 형태로 처리하는 등 최적의 방식을 자동으로 결정합니다. 특히 '스키피(Skippy)'라는 분할 모드를 통해 단일 기기에는 너무 큰 모델도 여러 대의 저사양 기기에서 협력하여 실행할 수 있습니다. 아이로는 NAT(Network Address Translation) 통과, 홀 펀칭(hole-punching) 등을 처리하여 어떤 네트워크 환경에서도 노드 간 직접적이고 안전한 연결을 보장하며, 사용자는 복잡한 네트워크 설정 없이도 분산 컴퓨팅 환경을 구축할 수 있습니다.
메시 LLM의 등장은 AI 컴퓨팅의 패러다임을 중앙 집중식에서 분산형으로 전환할 잠재력을 보여줍니다. 이는 기업과 개인 사용자에게 AI 모델 실행 비용을 절감하고, 민감한 데이터에 대한 통제권을 강화하며, 특정 클라우드 제공업체나 모델 개발사에 대한 종속성을 줄일 수 있는 기회를 제공합니다. 또한, 기존에 활용되지 않던 유휴 GPU 자원을 효율적으로 활용하여 AI 접근성을 높이고, 더 많은 혁신적인 AI 애플리케이션 개발을 촉진할 수 있을 것으로 기대됩니다. 궁극적으로는 '더 많은 P2P, 더 적은 폐쇄형 서버, 그리고 벤더 종속성 없는' AI 생태계를 지향합니다.