오픈AI가 브로드컴과 손잡고 자체 개발한 대규모 언어모델(LLM) 추론용 주문형 반도체(ASIC) '할라페뇨'를 공개하며, 인공지능(AI) 칩 시장에 새로운 경쟁 구도를 예고했습니다. 초기 A0 실리콘 테스트 결과, 할라페뇨는 엔비디아의 최신 칩인 블랙웰과 루빈을 능가하는 전력당 처리량(토큰/MW)을 기록하며 주목받고 있습니다. 이는 AI 모델 운영의 핵심 과제인 전력 효율과 총소유비용(TCO) 절감에 있어 중요한 이정표가 될 수 있습니다.
할라페뇨는 HBM4 메모리와 단순화된 메모리·네트워크 구조, 작은 행렬에서도 효율적인 코어 설계를 결합하여 토큰당 전력 소비를 최소화하는 데 집중했습니다. 2024년 중반 설계를 시작해 약 16개월 만에 개발된 이 칩은 특정 오픈 모델에서 사용자당 700~1,400토큰/초 이상의 처리량을 보였으며, 이는 엔비디아 GB200의 최고 처리량 지점 대비 약 2배, 동시성 1 지점 대비 50배 이상 높은 수치입니다. 또한, 오픈AI는 코덱스(Codex)와 글루온(Gluon) 기반의 소프트웨어 스택을 활용해 커널 개발 속도를 획기적으로 단축했으며, 프리필(prefill)과 디코드(decode) 단계를 분리하지 않는 유연한 운영 전략을 채택했습니다.
이러한 할라페뇨의 등장은 AI 산업 전반에 걸쳐 중요한 의미를 가집니다. AI 모델의 규모가 커지고 활용 범위가 넓어지면서, 모델을 구동하는 데 필요한 막대한 전력 소비와 운영 비용은 주요한 제약 요인이 되어왔습니다. 할라페뇨가 보여준 높은 전력 효율성은 데이터센터 운영 비용을 크게 절감하고, 더 많은 AI 서비스를 경제적으로 제공할 수 있는 기반을 마련할 수 있습니다. 엔비디아가 장악하고 있는 AI 칩 시장에 오픈AI가 직접 뛰어들면서, 칩 기술 혁신과 가격 경쟁이 가속화될 것으로 예상됩니다. 이는 장기적으로 AI 기술의 대중화와 확산에 긍정적인 영향을 미 미칠 것입니다.