오픈AI가 자체 개발한 AI 추론(inference) 칩 '할라페뇨(Jalapeño)'의 상세 정보와 첫 벤치마크 결과를 공개하며, AI 서비스 인프라의 새로운 지평을 열었습니다. 이 칩은 세미애널리시스(SemiAnalysis)의 InferenceX 벤치마크 테스트에서 기존 최첨단 추론 프로세서보다 사용자당 더 많은 토큰을 처리하고, 킬로와트(kW)당 더 높은 처리량(throughput)을 달성하며 압도적인 성능을 입증했습니다. 이는 대규모 언어모델(LLM)과 같은 AI 서비스를 더 빠르고 효율적으로 제공할 수 있음을 의미합니다.
오픈AI의 하드웨어 책임자 리처드 호(Richard Ho)는 할라페뇨가 전력 단위당 더 많은 AI 작업을 처리하면서도 응답 속도를 빠르게 유지한다고 강조했습니다. 특히 엔비디아(Nvidia)의 블랙웰(Blackwell) 시스템과의 비교에서 상당한 성능 향상을 보였지만, 할라페뇨가 2026년 말 소량 배포되고 2027년에 본격적으로 도입될 시점에는 경쟁 환경이 더욱 발전할 수 있다는 점도 언급했습니다. 할라페뇨는 오픈AI가 브로드컴(Broadcom)과 긴밀히 협력하여 개발했으며, 오픈AI의 자체 AI 모델이 개발 과정에 활용되었습니다. 오픈AI는 할라페뇨를 다세대 플랫폼으로 발전시켜 AI 제품, 모델, 칩, 메모리 전체를 통합적으로 개발할 계획입니다.
이러한 풀스택(full-stack) 접근 방식 덕분에 오픈AI는 추론 과정에서 병목 현상을 일으키는 프리필(prefill) 및 통신 단계의 지연을 최소화할 수 있었습니다. 할라페뇨는 데이터 이동과 통신 지연을 줄이도록 설계되어, 응답 생성에 사용되는 KV 캐시(KV cache)와 같은 모델 상태를 명시적으로 배치하고 로컬에 유지함으로써 각 추론 단계에 필요한 컴퓨팅, 메모리, 네트워킹의 적절한 조합을 활성화합니다. 이는 AI 서비스의 전반적인 효율성을 극대화하고, 사용자 경험을 크게 개선할 잠재력을 가지고 있습니다.