AI 칩 전문 스타트업 세레브라스(Cerebras)가 자사의 공개 API에 알리바바(Alibaba)의 대규모 언어모델(LLM)인 Qwen 3.8 27B를 추가하며, 270억 매개변수 모델의 출력을 초당 약 1,500토큰이라는 놀라운 속도로 생성할 수 있게 되었습니다. 이는 에이전트 코딩, 도구 사용, 리서치 및 장시간 워크플로를 겨냥한 밀집(Dense) 멀티모달 모델로, 텍스트와 이미지를 모두 입력으로 받을 수 있는 것이 특징입니다.
세레브라스는 Qwen 3.8 27B 모델의 추론(inference) 속도를 극대화하기 위해 원본 모델을 그대로 사용하고, 저장 시에만 일부 가중치(weights)를 양자화(quantization)하며 활성값(activations), 어텐션(attention) 및 KV 캐시(KV cache)는 완전 정밀도(full precision)를 유지합니다. 무료 체험 계정은 64K, 유료 종량제는 128K 컨텍스트(context)를 지원하며, 스트리밍 응답, 도구 호출(tool calling), 병렬 도구 호출, 구조화된 출력(structured output) 등 에이전트 기반 작업에 필요한 다양한 기능을 제공합니다. 또한, 반복되는 프롬프트(prompt)의 앞부분을 자동으로 캐싱(caching)하여 처리 효율을 높이는 기능도 포함되어 있습니다.
이러한 초고속 추론 능력은 특히 짧은 응답을 반복적으로 생성하거나 전문 하위 에이전트를 병렬로 실행하는 작업에 매우 유리할 수 있습니다. 하지만 실제 사용 환경에서는 빠른 출력 속도에도 불구하고 여러 제약이 드러나고 있습니다. 일부 사용자들은 긴 코딩 세션에서 분당 토큰 한도에 빠르게 도달하거나, 캐시 여부와 관계없이 입력 토큰에 대한 높은 요금이 부과되어 비용 효율성이 떨어진다고 지적합니다. 복잡한 도구 호출이 실패하거나 외부 셸(shell) 작업이 병목 현상을 일으키면 전체 작업 시간 단축 효과가 미미할 수 있다는 점도 한계로 꼽힙니다. 결국 세레브라스의 주력 사업이 고성능 하드웨어 판매에 있고, 공개 API는 기술력 입증을 위한 수단이라는 분석도 나옵니다.