오픈AI(OpenAI)가 AI 칩 스타트업 세레브라스(Cerebras)와 손잡고 GPT-5.6 Sol 모델의 추론 속도를 혁신적으로 끌어올린 '울트라패스트 모드(Ultrafast Mode)'를 선보였습니다. 이 새로운 서비스 계층은 일부 고객에게 제한적으로 공개되었으며, 기존 모델의 품질 저하 없이 초당 최대 750개에 달하는 출력 토큰(token)을 생성할 수 있습니다. 이는 AI 모델의 응답 속도를 획기적으로 개선하여 실시간에 가까운 상호작용이 필요한 다양한 애플리케이션에 새로운 가능성을 열어줄 것으로 기대됩니다.
울트라패스트 모드의 핵심은 세레브라스의 웨이퍼 스케일 엔진(Wafer-Scale Engine) 아키텍처에 있습니다. 기존 GPU 기반 추론 방식은 다음 토큰을 생성할 때마다 모델 가중치를 온칩 메모리와 외부 저장 장치 사이에서 반복적으로 전송해야 하는 메모리 대역폭 병목 현상을 겪습니다. 세레브라스는 웨이퍼 크기 칩마다 44GB의 SRAM을 탑재하여 모델 가중치를 칩 내부에 유지하고, 여러 웨이퍼에 걸쳐 파이프라인으로 배치된 모델 계층을 따라 토큰을 중단 없이 전달함으로써 이러한 비효율적인 데이터 이동을 최소화했습니다. 이 덕분에 GPT-5.6 Sol 울트라패스트는 '인류의 마지막 시험(Humanity’s Last Exam)' 벤치마크에서 클로드 페이블 5(Claude Fable 5)보다 약 7배 빠른 속도로 비슷한 정확도를 기록했으며, 보고된 출력 속도 기준으로는 페이블 5보다 11배, 오푸스 4.8 패스트(Opus 4.8 Fast)보다 5배 빠른 성능을 보였습니다.
이처럼 압도적인 추론 속도 향상은 다양한 산업 분야에 큰 영향을 미칠 것입니다. 법률 문서 분석, 금융 모델링, 엔지니어링 보고서 작성 등 지식 노동 집약적인 작업의 처리 시간을 대폭 단축하여 생산성을 높일 수 있습니다. 또한, 웹 서비스 운영 기업은 프로덕션 장애의 근본 원인을 실시간으로 분석하고 대응하여 고객 신뢰와 매출 손실을 방어할 수 있으며, 보안팀은 사이버 공격을 신속하게 탐지하고 대응하여 피해를 최소화할 수 있습니다. 에이전트(agent) 기반 AI 시스템에서도 실시간 정보 제공과 빠른 문맥 전환이 가능해져 사용자 경험이 크게 향상될 것으로 예상됩니다. 궁극적으로 AI가 인간의 사고 과정을 모방하여 여러 차례 검토와 재평가를 수행하는 '반복 사고(iterative thinking)'를 실시간으로 구현함으로써, AI의 지능과 효율성을 한 단계 끌어올리는 중요한 기반이 될 것입니다.