13년 된 듀얼 제온(Xeon) E5-2690 v2 프로세서와 DDR3 메모리로 구성된 서버에서 구글의 젬마 4 26B(Gemma 4 26B) 대규모 언어모델(LLM)을 GPU 없이 성공적으로 구동했습니다. 이 오래된 시스템은 초당 약 5.2토큰의 디코딩 속도와 초당 16토큰의 프롬프트 평가 속도를 기록하며, 노후 장비의 활용 가능성을 다시 한번 입증했습니다.
이번 성과는 2013년형 아이비 브리지(Ivy Bridge) 세대 제온 CPU가 AVX1 명령어 세트만 지원하고, 최신 LLM 추론에 필수적인 AVX2 및 FMA3를 지원하지 않는다는 기술적 한계를 극복한 결과입니다. ik_llama.cpp 포크의 고속 경로가 AVX2를 전제로 설계되어 초기에는 실행에 실패했으나, 클로드(Claude) AI를 활용한 진단과 패치를 통해 비 AVX2 빌드에서도 정상적으로 작동하도록 수정했습니다. 특히 젬마 4의 전문가 혼합(MoE) 모델에서 발생하는 특정 연산 경로의 오류를 찾아내고, 이를 스칼라 루프와 기존 GGML 구현으로 대체하는 방식으로 문제를 해결했습니다.
이러한 시도는 오래된 기업용 서버를 유료 AI API의 로컬 대체 수단으로 활용하거나, 토큰당 과금이 비효율적인 느린 배치(batch) 작업에 적용할 수 있음을 보여줍니다. 또한, 최신 하드웨어 없이도 LLM을 로컬에서 실행하려는 개인 개발자나 소규모 팀에게 중요한 인사이트를 제공합니다. 이는 단순히 비용 절감을 넘어, 외부 API 의존도를 줄이고 데이터 주권을 확보하는 데 기여할 수 있는 실질적인 대안이 될 수 있습니다.