오픈AI(OpenAI)와 반도체 기업 브로드컴(Broadcom)이 대규모 언어모델(LLM)의 추론(inference) 성능을 획기적으로 개선할 새로운 AI 가속기 '할라페뇨(Jalapeño)'를 공개했습니다. 이 칩은 LLM 운영의 효율성을 극대화하고, 특히 AI 서비스 제공에 필수적인 추론 비용을 절감하는 데 중점을 둡니다. 이는 AI 기술의 상업적 확산에 중요한 진전으로 평가됩니다.
'할라페뇨'는 LLM의 복잡한 연산을 빠르게 처리하도록 설계되었으며, 오픈AI의 특정 모델 아키텍처에 최적화된 맞춤형 칩(ASIC)으로 추정됩니다. 브로드컴은 맞춤형 반도체 설계 및 제조 분야에서 오랜 경험과 기술력을 보유하고 있어, 오픈AI의 요구사항을 반영한 고성능 칩 개발에 핵심적인 역할을 수행했습니다. 이러한 협력은 엔비디아(NVIDIA) 중심의 AI 칩 시장에 새로운 경쟁 구도를 형성할 가능성을 시사합니다.
이번 '할라페뇨'의 등장은 AI 서비스 제공자들에게 운영 비용 절감이라는 실질적인 이점을 제공할 것입니다. LLM 추론 비용은 AI 서비스의 수익성에 큰 영향을 미치는데, 전용 가속기 도입으로 이 비용을 낮출 수 있다면 더 많은 기업이 AI 서비스를 도입하고 확장할 수 있게 됩니다. 장기적으로는 AI 기술의 대중화와 혁신적인 애플리케이션 개발을 가속화하는 중요한 전환점이 될 것으로 예상됩니다.