최근 옥스퍼드 대학교(University of Oxford) 연구진이 대규모 언어모델(LLM) 추론(inference)의 효율성을 획기적으로 개선할 수 있는 새로운 하이브리드 메모리 아키텍처를 발표했습니다. 이 아키텍처는 고대역폭 메모리(HBM)와 고대역폭 플래시(HBF)를 결합하여, LLM 운영의 주요 병목 현상인 메모리 접근 문제를 해결하고 비용 효율성을 높이는 데 초점을 맞추고 있습니다.
현재 LLM 추론은 모델 크기가 커지면서 막대한 메모리 대역폭을 요구하며, 이는 고가의 HBM 사용으로 이어져 운영 비용 상승의 주범이 되고 있습니다. 옥스퍼드 연구진은 이러한 문제를 해결하기 위해 HBM과 HBF를 함께 사용하는 방식을 제안했습니다. HBM은 빠른 속도를 제공하지만 비싸고 용량이 제한적인 반면, HBF는 HBM보다 저렴하고 용량이 크지만 속도가 느리다는 단점이 있습니다. 연구진은 LLM의 특정 계층(layer)은 HBM에, 다른 계층은 HBF에 배치하는 방식으로 두 메모리의 장점을 극대화하여, 전체 시스템 비용을 절감하면서도 성능 저하를 최소화하는 전략을 사용했습니다.
이 하이브리드 아키텍처는 LLM 서비스 제공업체들이 직면한 고비용 문제를 완화하는 데 중요한 역할을 할 수 있습니다. 특히, 모델 크기가 기하급수적으로 커지는 추세 속에서, 메모리 비용은 LLM 상용화의 큰 걸림돌이었습니다. 이번 연구는 효율적인 메모리 관리 전략을 통해 LLM의 접근성을 높이고, 더 많은 기업과 개발자가 LLM 기술을 활용할 수 있는 기반을 마련할 것으로 보입니다. 이는 궁극적으로 AI 기술의 대중화와 확산에 기여할 것입니다.