화웨이(Huawei), ETH 취리히, 화중과학기술대학교(HUST) 공동 연구팀이 대규모 언어모델(LLM) 추론(inference)의 용량 확장성을 획기적으로 개선할 수 있는 새로운 반도체 기판 기술인 HBF(Heterogeneous Bonding Fabric)를 발표했습니다. 이 기술은 LLM 워크로드의 특성에 맞춰 컴퓨팅 자원과 메모리 대역폭을 유연하게 조절함으로써, 기존 방식보다 훨씬 효율적인 추론 환경을 제공하는 것을 목표로 합니다.
HBF 기판은 LLM 추론 과정에서 발생하는 다양한 워크로드 패턴을 분석하여, 필요한 자원을 맞춤형으로 할당하는 데 중점을 둡니다. 예를 들어, 토큰 생성 단계에서는 메모리 대역폭이 중요하고, 배치 처리 단계에서는 컴퓨팅 성능이 더 중요해집니다. HBF는 이러한 요구사항에 따라 이종(heterogeneous) 컴퓨팅 칩과 메모리 칩을 효율적으로 연결하고, 데이터 흐름을 최적화하여 전력 효율을 최대 2.7배 높이고 비용을 절감할 수 있다고 연구진은 설명합니다. 이는 특히 방대한 파라미터를 가진 LLM을 실시간으로 서비스해야 하는 상황에서 큰 이점을 제공합니다.
이번 HBF 기술은 LLM 서비스 제공자들이 직면한 가장 큰 과제 중 하나인 추론 비용과 전력 소모 문제를 해결하는 데 중요한 기여를 할 것으로 보입니다. LLM의 규모가 커질수록 추론에 필요한 컴퓨팅 자원과 메모리 요구량이 기하급수적으로 증가하는데, HBF는 이러한 병목 현상을 완화하고 더 많은 사용자가 LLM 서비스를 저렴하게 이용할 수 있는 기반을 마련할 수 있습니다. 이는 AI 인프라의 효율성을 높여 LLM의 상용화와 대중화를 가속화하는 핵심 기술이 될 것입니다.