싱가포르 국립대학교(NUS) 연구팀이 대규모 언어모델(LLM)의 추론(inference) 성능을 획기적으로 개선할 수 있는 새로운 접근 방식인 '이종 메모리 칩렛' 기술을 발표했습니다. 이 기술은 여러 사용자의 동시 요청(multi-request)을 처리할 때 발생하는 지연 시간(latency) 문제를 해결하고, 전체 처리량(throughput)을 높이는 데 중점을 둡니다. 이는 현재 LLM 서비스가 직면한 주요 병목 현상 중 하나를 해소할 잠재력을 가지고 있습니다.
기존 LLM 추론 시스템은 대부분 고대역폭 메모리(HBM)를 탑재한 고성능 GPU에 크게 의존합니다. 하지만 HBM은 비싸고 용량 확장에 한계가 있어, 여러 요청을 동시에 처리할 때 메모리 접근 병목 현상이 발생하기 쉽습니다. NUS 연구진은 이러한 문제를 해결하기 위해 DRAM, HBM, SRAM 등 다양한 종류의 메모리를 칩렛(chiplet) 형태로 통합하고, 각 메모리의 특성에 맞춰 데이터를 효율적으로 배치하고 관리하는 방법을 제안했습니다. 이를 통해 데이터 접근 속도를 최적화하고, 전체 시스템의 효율성을 극대화하여 LLM 추론 성능을 향상시킬 수 있습니다.
이 기술의 핵심은 메모리 계층 구조를 지능적으로 활용하는 것입니다. 자주 사용되는 데이터는 더 빠르고 작은 SRAM에, 중간 규모 데이터는 DRAM에, 대규모 모델 파라미터는 HBM에 저장하는 식입니다. 이러한 이종 메모리 통합은 LLM 추론 시 발생하는 데이터 이동 오버헤드를 줄이고, 각 메모리 유형의 장점을 최대한 활용하여 전반적인 시스템 성능을 끌어올립니다. 결과적으로 LLM 서비스 제공자들은 더 적은 비용으로 더 많은 사용자에게 빠르고 안정적인 서비스를 제공할 수 있게 될 것이며, 이는 AI 반도체 설계 및 LLM 인프라 구축에 중요한 전환점이 될 수 있습니다.