오픈AI(OpenAI)와 반도체 기업 브로드컴(Broadcom)이 대규모 언어모델(LLM) 추론(inference)에 특화된 새로운 인공지능(AI) 칩을 공개했습니다. 이 협력은 급증하는 LLM 운영 비용 문제를 해결하고, AI 모델을 더 효율적으로 배포 및 실행하기 위한 전략적 움직임으로 풀이됩니다. 특히, LLM 추론 과정에서 발생하는 막대한 전력 소모와 비용 부담을 줄이는 데 초점을 맞추고 있습니다.
이번에 발표된 칩은 LLM의 특정 연산 패턴에 최적화되어 설계되었습니다. 기존의 범용 그래픽처리장치(GPU)는 학습(training)과 추론 모두에 사용되지만, 추론 단계에서는 학습과 다른 종류의 연산이 주로 이루어집니다. 오픈AI와 브로드컴은 이러한 추론 연산의 특성을 면밀히 분석하여, 불필요한 기능을 줄이고 핵심 연산 처리 속도와 전력 효율을 극대화한 맞춤형 칩을 개발했습니다. 이는 LLM 서비스 제공자들이 직면한 하드웨어 비용과 운영 부담을 크게 경감시킬 잠재력을 가집니다.
이러한 LLM 전용 추론 칩의 등장은 AI 산업 전반에 중요한 의미를 갖습니다. 현재 대부분의 LLM 서비스는 엔비디아(NVIDIA)의 고가 GPU에 크게 의존하고 있으며, 이는 스타트업이나 중소기업에게 상당한 진입 장벽으로 작용합니다. 새로운 칩은 이러한 의존도를 낮추고, 더 많은 기업이 합리적인 비용으로 LLM 기반 서비스를 구축하고 운영할 수 있는 길을 열어줄 것입니다. 궁극적으로는 AI 기술의 대중화와 혁신 가속화에 기여하며, AI 인프라 시장의 경쟁 구도에도 변화를 가져올 것으로 예상됩니다.