AI 모델을 개발하고 운영하는 데 있어 가장 큰 고민 중 하나는 바로 GPU 비용입니다. 어떤 GPU가 내 모델에 적합하며, 가장 저렴하게 이용할 수 있는지는 늘 어려운 문제였습니다. 이러한 개발자들의 고충을 해결하기 위해 'GPUfind'라는 새로운 서비스가 등장했습니다. 이 서비스는 사용자가 허깅 페이스(Hugging Face) 모델의 URL만 입력하면, 해당 모델에 필요한 GPU 메모리를 자동으로 계산하고, 전 세계 38개 클라우드 제공업체의 791개 GPU 가격을 비교하여 가장 저렴한 옵션을 찾아줍니다.
GPUfind는 모델의 매개변수(parameter) 수와 KV 캐시(KV cache) 계수를 기반으로 필요한 메모리(VRAM)를 정확히 추정합니다. 예를 들어, Llama 3.3 70B 모델의 경우 추론(inference)에 약 169GB의 메모리가 필요하다고 분석하며, 이를 충족하는 GPU 구성과 시간당 가격을 최저가 순으로 정렬해 보여줍니다. 인텔 가우디 2(Intel Gaudi 2), 엔비디아 RTX A6000(NVIDIA RTX A6000), AMD 인스팅트 MI300X(AMD Instinct MI300X) 등 다양한 제조사의 GPU를 비교하며, FP16, FP8, 4비트 등 정밀도(precision)와 컨텍스트(context) 크기까지 고려하여 실제 사용 가능한 GPU를 추천합니다. 특히, 여러 장의 GPU를 묶어 사용하는 경우(pooled memory)에도 제공업체가 실제로 판매하는 노드(node) 구성을 기반으로 정확한 가격을 제시합니다.
이 서비스는 AI 개발자들이 모델 배포 및 운영 비용을 크게 절감할 수 있도록 돕는다는 점에서 의미가 큽니다. GPUfind는 단순히 가격만 비교하는 것이 아니라, 모델의 기술적 요구사항(메모리, 정밀도, CUDA/ROCm 호환성 등)을 충족하는지까지 검토하여 불필요한 시행착오를 줄여줍니다. 이를 통해 개발자들은 값비싼 GPU 자원을 낭비하지 않고, 자신의 모델에 가장 효율적인 하드웨어를 선택하여 AI 프로젝트의 경제성을 높일 수 있을 것으로 기대됩니다. 또한, 다양한 클라우드 제공업체의 GPU 옵션을 한눈에 비교할 수 있어 시장의 투명성을 높이는 데도 기여할 것입니다.