한 개발자가 13년 된 구형 서버에서 구글의 젬마 4(Gemma 4) 26B 모델을 성공적으로 구동하며 화제가 되고 있습니다. 이 서버는 2013년 출시된 듀얼 인텔 제온 E5-2690 v2(아이비 브릿지) 프로세서를 탑재하고 있으며, GPU는 물론 최신 명령어 세트인 AVX2나 FMA3도 지원하지 않는 노후 장비입니다. 그럼에도 불구하고, 이 개발자는 초당 약 5토큰(읽기 속도)의 추론(inference) 속도를 달성하며, 현대 AI 모델이 반드시 고가의 최신 하드웨어에서만 작동하는 것은 아니라는 점을 입증했습니다.
이 프로젝트는 '10년 된 제온만 있으면 충분하다'는 이전 해커 뉴스(Hacker News) 게시물에서 영감을 받았습니다. 해당 게시물은 2016년 제온 프로세서에서 젬마 4를 구동했지만, 이 개발자의 2013년 아이비 브릿지 제온은 더 오래된 AVX1 명령어 세트만 지원하여 기존 최적화된 코드로는 실행이 불가능했습니다. 여기서 핵심적인 역할을 한 것이 바로 AI 에이전트인 클로드(Claude)였습니다. 개발자는 클로드에게 코드 오류를 진단하고, AVX2 명령어 세트가 없는 구형 CPU에서도 작동하도록 C++ 코드의 '핫 패스(hot paths)'를 재작업하고 최적화를 유지하는 방법을 문의했습니다. 클로드는 이 복잡한 작업을 성공적으로 수행하여, 모델이 구형 하드웨어에 맞춰 최적화된 경로를 사용하거나 적절히 대체 경로로 폴백(fallback)하도록 만들었습니다.
이번 성과는 단순히 오래된 하드웨어에서 AI를 돌렸다는 것을 넘어 여러 가지 중요한 의미를 가집니다. 첫째, 고가의 GPU 구독 없이도 로컬에서 대규모 언어모델(LLM)을 운영할 수 있는 가능성을 제시하여, 비용 효율적인 AI 활용 방안을 모색하는 개인이나 소규모 기업에 큰 도움이 될 수 있습니다. 둘째, AI 에이전트가 단순한 코드 생성이나 디버깅을 넘어, 특정 하드웨어 제약 조건에 맞춰 복잡한 성능 최적화 코드를 이해하고 수정하는 고도화된 엔지니어링 작업까지 수행할 수 있음을 보여주었습니다. 이는 미래 소프트웨어 개발 및 시스템 최적화 과정에서 AI의 역할이 더욱 커질 것임을 시사합니다. 또한, 유료 API가 중단되거나 대량의 배치(batch) 작업을 저렴하게 처리해야 할 때 로컬 모델이 유용한 대안이 될 수 있음을 보여줍니다.