ARGODRIVE Deltafin 프로젝트가 놀라운 성과를 발표했습니다. M5 Max 칩과 128GB 메모리를 탑재한 맥북 프로 한 대에서 4개의 SSD를 활용해 2.8조 파라미터에 달하는 Kimi K3 대규모 언어모델(LLM)을 구동하는 데 성공한 것입니다. 이 시스템은 512토큰 생성 구간에서 초당 약 1토큰의 속도를 기록하며, 모델의 품질을 희생하지 않고 모든 전문가(expert) 가중치를 사용했다는 점에서 주목할 만합니다.
이번 실험은 1.45TB에 달하는 전문가 가중치를 4개의 SSD에서 실시간으로 스트리밍하는 방식으로 진행되었습니다. 특히, 속도 향상을 위해 전문가를 제거하거나 가중치를 재인코딩하지 않고, 매 토큰에 라우팅된 16개의 전문가를 모두 활용했습니다. 가장 큰 병목 현상은 첫 토큰 생성 대기 시간으로, 512토큰 프롬프트 처리에 약 375초가 소요되었는데, 이는 프리필(prefill) 과정에서 각 층의 전문가를 8번씩 다시 읽는 문제 때문으로 분석됩니다. SSD 개수에 따른 성능 확장성은 선형적이지 않아, SSD 1개는 4개 구성 속도의 약 52%, 2개는 73%, 3개는 90% 수준을 보였습니다.
이 프로젝트의 핵심 목표는 상용 제품 개발보다는 소비자 하드웨어에서 대형 AI 모델 실행의 한계를 탐구하는 것입니다. 약 200만 달러 규모의 인프라가 필요한 Kimi K3를 1만 5천 달러 수준의 가정용 구성에서 사용할 수 있게 된다면, 이는 AI 접근성 측면에서 매우 가치 있는 진전이 될 수 있습니다. Deltafin은 단일 네이티브 실행 파일로 CLI(명령줄 인터페이스)와 OpenAI 호환 서버를 제공하며, 모델 품질을 유지하면서 극한의 제약 조건 속에서 효율성을 개선하고 얻은 학습 결과를 다른 프로젝트와 공유하는 것을 목표로 합니다.
이러한 시도는 고성능 컴퓨팅 자원이 부족한 개인 개발자나 소규모 팀에게 대규모 언어모델을 활용할 수 있는 가능성을 열어줍니다. 비록 아직 첫 토큰 대기 시간과 같은 성능 병목이 존재하지만, 지속적인 최적화를 통해 개인용 기기에서도 복잡한 AI 작업을 수행할 수 있는 미래를 기대하게 합니다. 이는 AI 기술의 민주화에 기여하며, 더 많은 혁신적인 애플리케이션 개발로 이어질 잠재력을 가지고 있습니다.