아르고노트 랩스(Argonaut Labs)가 개발한 델타핀(Deltafin) 프로젝트를 통해 2.8조 개의 파라미터를 가진 Kimi K3 대규모 언어모델(LLM)을 M5 Max 맥북 프로에서 성공적으로 실행했습니다. 이 모델은 1.45TB에 달하는 방대한 전문가(expert) 가중치를 가지고 있으며, 이를 4개의 외장 SSD에서 스트리밍하는 방식으로 소비자용 하드웨어에서 구동하는 데 성공했습니다. 이는 고가의 전문 인프라 없이도 거대 모델을 활용할 수 있는 가능성을 보여주는 중요한 실험입니다.
델타핀은 512토큰(token) 답변 생성 시 초당 1.00토큰(token/s)의 안정적인 디코딩(decoding) 속도를 기록했습니다. 이는 기존 M1 Max 랩톱에서 보고된 0.29토큰/s보다 훨씬 빠른 속도입니다. 특히, 모델의 모든 16개 전문가(MoE)를 그대로 사용하며 품질 저하 없이 순수한 Kimi K3의 성능을 유지하는 데 중점을 두었습니다. 초기 프롬프트(prompt) 처리 속도(time to first token)는 512토큰 프롬프트 기준 약 6.3분으로 다소 느리지만, 이는 프리필(prefill) 과정의 비효율성 때문이며 개선이 계획되어 있습니다. 또한, SSD 개수에 따른 성능 변화를 실험한 결과, 1개 드라이브 사용 시 4개 드라이브 대비 약 52%, 2개 사용 시 73%, 3개 사용 시 90%의 속도를 보여, 드라이브 개수가 늘어날수록 성능이 향상됨을 확인했습니다.
이번 성과는 200만 달러 규모의 전문 인프라가 필요한 Kimi K3를 1만 5천 달러 수준의 개인 장비에서 구동할 수 있음을 입증하며, AI 연구 및 개발의 접근성을 크게 확장할 잠재력을 가집니다. 모델 품질 저하 없이 효율성을 극대화하는 데 초점을 맞춘 이 실험은, 대규모 모델을 개인 장비에서 실행하는 새로운 방법을 제시하며 AI 커뮤니티에 귀중한 통찰을 제공할 것입니다. 이는 단순히 속도 개선을 넘어, AI 모델의 민주화와 분산형 AI 연구의 가능성을 열어주는 중요한 진전으로 평가될 수 있습니다.