IBM이 대규모 언어모델(LLM)을 더 많은 사람이 접근하고 활용할 수 있도록 돕는 새로운 기술, 'LLM-D'를 발표했습니다. 이 기술은 고가의 전문 하드웨어 없이도 일반 소비자용 PC나 서버에서 LLM을 효율적으로 실행할 수 있도록 설계되었습니다. 이는 LLM의 활용 범위를 넓히고, 개발 및 배포 비용을 크게 낮출 잠재력을 가지고 있습니다.
LLM-D의 핵심은 모델을 여러 개의 작은 조각으로 나누어 처리하는 '분산 추론(distributed inference)' 방식입니다. 기존 LLM은 모델 전체를 GPU 메모리에 올려야 했기 때문에 방대한 메모리를 가진 고성능 GPU가 필수적이었습니다. 하지만 LLM-D는 모델의 각 계층(layer)을 CPU와 GPU 메모리에 지능적으로 분배하고, 필요에 따라 데이터를 주고받으며 연산을 수행합니다. 이 과정에서 IBM은 데이터 전송 오버헤드를 최소화하고, CPU와 GPU의 유휴 시간을 줄이는 최적화 기술을 적용하여 전체 추론 속도를 향상시켰습니다. 예를 들어, 특정 계층은 GPU에서 빠르게 처리하고, 다른 계층은 CPU에서 병렬 처리하는 방식입니다.
이러한 기술은 대규모 언어모델의 접근성을 획기적으로 개선할 수 있습니다. 고가의 GPU 서버를 구매하거나 클라우드 서비스를 이용하기 어려운 개인 개발자나 중소기업도 이제는 기존에 보유한 하드웨어로 LLM을 실험하고 배포할 수 있게 됩니다. 이는 LLM 기반 애플리케이션 개발의 진입 장벽을 낮추고, 엣지 디바이스(edge device)나 온프레미스(on-premise) 환경에서의 AI 활용을 촉진할 것입니다. 결과적으로, 더 다양한 분야에서 LLM의 혁신적인 잠재력이 발휘될 수 있는 기반을 마련할 것으로 보입니다.