아마존 웹 서비스(AWS)가 자사의 기계 학습 플랫폼인 아마존 세이지메이커(Amazon SageMaker)에서 소형 대규모 언어모델(LLM)의 추론(inference) 성능을 벤치마크한 결과를 발표했습니다. 특히, 최근 출시된 G7 인스턴스가 기존 G5 및 G6 인스턴스에 비해 추론 처리량(throughput)과 비용 효율성 면에서 월등히 뛰어난 성능을 보여주며, 소형 LLM 운영에 새로운 표준을 제시했습니다.
이번 벤치마크는 라마 2 7B(Llama 2 7B), 미스트랄 7B(Mistral 7B) 등 매개변수(parameter)가 적은 소형 LLM을 대상으로 진행되었습니다. AWS는 G7 인스턴스가 G5 인스턴스 대비 최대 2.5배 높은 처리량을 제공하며, G6 인스턴스와 비교해서도 더 나은 성능을 보였다고 밝혔습니다. 특히, G7 인스턴스는 추론 비용을 최대 70%까지 절감할 수 있어, 개발자와 기업이 LLM 기반 애플리케이션을 보다 경제적으로 운영할 수 있는 길을 열었습니다. 이러한 성능 향상은 주로 G7 인스턴스에 탑재된 엔비디아(NVIDIA) L4 GPU의 효율적인 아키텍처 덕분입니다.
이번 AWS의 발표는 LLM을 활용하려는 스타트업과 개발자들에게 매우 중요한 의미를 가집니다. 특히, 소형 LLM은 특정 작업에 특화되거나 온디바이스(on-device) 환경에서 실행될 수 있어 활용 범위가 넓지만, 여전히 추론 비용이 부담으로 작용했습니다. G7 인스턴스의 등장으로 이러한 비용 장벽이 크게 낮아지면서, 개인화된 AI 비서, 실시간 번역, 코드 생성 등 다양한 소형 LLM 기반 서비스의 상용화가 더욱 가속화될 것으로 기대됩니다. 이는 AI 기술의 대중화와 함께 새로운 비즈니스 기회를 창출하는 촉매제가 될 것입니다.