최근 대규모 언어모델(LLM) 시장에서 모델 선택의 기준이 변화하고 있습니다. 과거에는 더 높은 지능을 가진 모델이 최우선이었지만, 이제는 클로드(Claude) Opus 4.6 수준의 지능만으로도 코딩, 리서치, 슬라이드 설계, 데이터베이스 분석 등 대부분의 일상 업무에 충분하다는 인식이 확산되면서 '속도'가 핵심적인 선택 요인으로 떠오르고 있습니다. 사용자들이 체감하는 반응 속도가 모델의 실용성을 결정하는 중요한 요소가 된 것입니다.
모델의 출력 속도는 사용자 경험에 결정적인 영향을 미칩니다. 약 100~200토큰/초(tok/s)는 사람이 훑어 읽으며 따라갈 수 있는 가장 쾌적한 속도로 느껴지며, 50tok/s 아래에서는 답답함을 유발합니다. 반면 200tok/s를 넘어서면 오히려 너무 빨라 낯설게 느껴질 수 있습니다. 이러한 속도 경쟁은 오픈 웨이트(Open-weight) 모델 생태계에서 더욱 두드러지는데, 동일한 GLM5.2 모델이라도 제공자에 따라 30tok/s 미만부터 129tok/s까지 큰 차이를 보이며 서빙 속도가 새로운 경쟁 우위로 부상하고 있습니다. 또한, GLM5.2의 가격은 Opus의 5% 수준인 $0.42/$1.32/MTok까지 하락하여, 합리적인 가격에 빠른 모델을 제공하는 것이 가능해졌습니다.
이러한 변화는 AI 에이전트의 전체 작업 흐름에도 영향을 미칩니다. 모델 출력 속도를 5배 높여도 도구 호출이나 사람의 판단 시간이 그대로라면 전체 작업 시간은 약 2배 빨라지는 데 그쳐, 암달의 법칙(Amdahl's Law)에 따른 병목 현상이 발생할 수 있습니다. 하지만 HBM4 기반의 차세대 GPU가 배치될 2027년에는 고품질 모델이 500tok/s 이상으로 동작할 가능성이 점쳐지며, 이는 사용자들이 AI의 응답을 기다리는 시간을 획기적으로 줄여줄 것으로 기대됩니다. 결국, AI 모델은 단순히 똑똑한 것을 넘어, 사용자의 작업 흐름에 끊김 없이 통합되는 '빠른 도구'로서의 가치를 더욱 높여갈 것입니다.