AI 데이터센터에서 수명이 다해 폐기되는 그래픽처리장치(GPU)들이 대규모 언어모델(LLM) 추론에 재활용될 수 있다는 연구 결과가 나왔습니다. '덤스터클러스터(DumpsterCluster)'라는 이름으로 발표된 이 연구는 중고 GPU를 활용해 시스템을 구축하고, 최신 LLM인 라마 70B(LLaMA-70B)를 성공적으로 구동하며 경제적 가능성을 제시했습니다.
연구팀은 128개의 중고 GPU(V100 기반)로 덤스터클러스터를 직접 구축하고 1년간 운영했습니다. 총 2만 2천 달러(약 3천만 원)의 비용이 들었는데, 이는 8개의 최신 B200 GPU 시스템이 약 60만 달러(약 8억 원)에 달하는 것과 비교하면 상당한 경제적 이점입니다. 파이프라인 병렬 처리(pipeline-parallel optimizations) 최적화를 통해 라마 70B 추론에서 경쟁력 있는 처리량(throughput)을 달성하여 실제 운영 가능성도 확인했습니다. 하지만 오래된 GPU는 토큰당 전력 소비량이 훨씬 많아, 저렴한 전기료를 가진 지역에서만 총 소유 비용(TCO) 측면에서 유리하다는 한계도 드러났습니다.
이 연구는 AI 인프라 확장에 있어 경제성과 환경 지속가능성이라는 두 가지 중요한 질문을 던집니다. 중고 GPU 재활용은 AI 접근성을 높이고 하드웨어 폐기물 문제를 줄일 수 있는 잠재력을 가집니다. 그러나 전력망 평균 탄소 집약도(grid-average carbon intensity) 기준으로 볼 때, 중고 시스템은 8B 모델에서 토큰당 약 4배, 70B 모델에서는 40배 이상 높은 탄소 배출량을 발생시키는 것으로 나타났습니다. 이는 하드웨어 재활용이 저탄소 에너지원과 전략적으로 결합될 때만 환경적으로 지속 가능하다는 점을 시사합니다. 즉, 저렴하고 깨끗한 전력을 확보할 수 있는 지역에서는 중고 GPU가 AI 역량을 확장하는 동시에 경제성, 에너지 안보, 환경적 책임을 모두 만족시키는 실행 가능한 대안이 될 수 있습니다.