한 개인이 스마트폰과 여러 대의 개인용 컴퓨터를 연결하여 1200억 개 매개변수(120B)에 달하는 대규모 언어모델(LLM)을 구동하는 데 성공했습니다. 이는 일반적으로 최소 60GB 이상의 램(RAM)을 요구하는 고사양 작업으로, 단일 기기에서 실행하기 어려운 도전적인 과제였습니다. 이 성공은 고가의 전용 하드웨어 없이도 LLM을 활용할 수 있는 새로운 길을 제시했다는 점에서 주목받고 있습니다.
이 개인은 아이폰(iPhone) 1대, 맥(Mac) 3대, 윈도우(Windows) PC 2대를 네트워크로 연결하여 LLM을 분산 처리하는 방식을 사용했습니다. 각 기기의 유휴 자원, 특히 램과 그래픽처리장치(GPU) 메모리를 효율적으로 활용하여 전체 시스템의 연산 능력을 극대화한 것입니다. 이러한 접근 방식은 특정 고성능 서버에 의존하지 않고, 이미 보유하고 있는 다양한 기기들을 조합해 복잡한 AI 작업을 수행할 수 있음을 입증했습니다. 이는 자원 제약이 있는 개인 개발자나 소규모 팀에게 특히 중요한 의미를 가집니다.
이번 성과는 대규모 언어모델의 접근성을 획기적으로 높일 잠재력을 가지고 있습니다. 그동안 LLM 구동은 막대한 컴퓨팅 자원과 비용이 드는 일로 여겨져 왔으나, 이번 사례는 분산 컴퓨팅 기술을 통해 이러한 장벽을 낮출 수 있음을 보여주었습니다. 이는 개인이나 소규모 스타트업이 혁신적인 AI 애플리케이션을 개발하고 배포하는 데 필요한 초기 투자 비용을 줄여줄 수 있으며, 궁극적으로 AI 기술의 대중화와 다양한 서비스 출현을 가속화할 것으로 기대됩니다.