AI 추론(inference) 클라우드 스타트업 제너럴 컴퓨트(General Compute)가 투자사 어퍼90(Upper90)으로부터 4억 달러(약 5,500억 원) 규모의 대출을 확보했습니다. 이 투자는 AI 모델 학습(training)에 사용되는 고가의 GPU 대신, 이미 학습된 AI 모델을 빠르고 효율적으로 실행하는 추론 전용 칩을 담보로 했다는 점에서 업계의 주목을 받고 있습니다. 이는 AI 인프라 시장이 고비용의 최신 대규모 언어모델(LLM) 대신, 오픈소스 모델을 더 저렴하게 구동할 수 있는 인프라로 전환되고 있음을 시사합니다.
제너럴 컴퓨트는 인텔(Intel)이 지원하는 칩 제조사 삼바노바(SambaNova)의 SN50 칩을 기반으로 추론 전용 '네오클라우드(neocloud)'를 구축하고 있습니다. 이 SN50 칩은 전력 효율이 높고 값비싼 수랭 시스템이 필요 없어, 엔비디아 GPU보다 다양한 데이터센터에 빠르게 배포될 수 있다는 장점이 있습니다. 제너럴 컴퓨트는 자사의 칩이 GPU 기반 클라우드보다 16배 빠른 추론 속도를 제공한다고 주장합니다. 어퍼90은 과거 엔비디아 GPU 구매 자금을 지원하며 이 분야의 선구자 역할을 했으나, 이제는 추론 칩으로 눈을 돌려 AI 시장의 다음 물결에 올라타려는 움직임을 보이고 있습니다.
이번 투자는 엔비디아의 독점적인 시장 지배력에 균열을 내는 중요한 신호로 해석됩니다. 빌리 리비(Billy Libby) 어퍼90 공동 창업자 겸 CEO는 "모든 사람이 슈퍼컴퓨터를 필요로 하지는 않지만, 추론과 AI는 필요하다"며 오픈소스 모델의 중요성을 강조했습니다. 그록(Groq), 세레브라스(Cerebras) 등 새로운 칩 제조사들이 등장하고 AMD와 같은 기존 강자들이 대안을 제시하면서, 엔비디아 생태계에 갇히지 않는 컴퓨팅 제공업체들이 비용 효율적인 추론 서비스를 제공하는 데 유리한 위치를 차지할 수 있습니다. 이는 AI 인프라 시장의 경쟁을 심화시키고, 궁극적으로는 AI 서비스 비용을 낮춰 더 많은 기업과 개발자가 AI를 활용할 수 있는 기회를 제공할 것으로 기대됩니다.