중국 인공지능(AI) 산업의 무게중심이 대규모 언어모델(LLM) 개발 경쟁에서 AI 에이전트(agent)의 대규모 배치와 상용화로 이동하고 있습니다. 중국전신연구원(CAICT)은 '에이전트 시대 AI 인프라 발전 연구보고서 2026'을 통해 2029년에는 AI 연산 수요의 약 80%가 모델을 실제 서비스에 활용하는 추론(inference)에 집중될 것이라고 전망했습니다. 이는 모델을 만드는 학습(training) 연산 수요를 크게 앞서는 수치입니다.
보고서는 AI 에이전트가 이러한 변화를 주도한다고 분석합니다. 기존 챗봇이 한 번의 질문에 한 번 응답하는 방식이었다면, 에이전트는 하나의 목표를 달성하기 위해 정보를 검색하고, 외부 도구를 호출하며, 결과를 확인하고, 작업을 반복적으로 이어가는 복잡한 과정을 수행합니다. 이 과정에서 사용자 요청 한 건이 여러 차례의 모델 호출로 이어지며 연산량이 폭발적으로 증가합니다. 실제로 중국의 연간 토큰 소비량은 2026년 약 10경 개에서 2030년 3,500경 개를 넘어설 것으로 예상되는데, 이는 4년 만에 약 350배 증가하는 수치입니다. 이처럼 '모델 만들기'보다 '모델 돌리기'에 필요한 연산이 훨씬 커지면서, 추론 효율성이 AI 기업의 핵심 경쟁력이 될 것으로 보입니다.
추론 수요 증가는 AI 기업의 비용 구조에도 큰 영향을 미칠 것입니다. 같은 성능의 모델이라도 필요한 GPU(그래픽 처리 장치) 수, 메모리, 전력, 토큰 사용량이 적을수록 서비스 운영 비용을 크게 절감할 수 있기 때문입니다. 이에 따라 모델 경량화(model quantization), 양자화(quantization), 캐싱(caching) 기술, 추론 전용 칩 개발, 소프트웨어 최적화 등 추론 효율을 높이는 기술의 중요성이 더욱 부각될 전망입니다. 에이전트가 업무 처리 과정에서 모델을 여러 번 호출하는 특성상, 추론 효율의 작은 차이가 곧 막대한 운영비 차이로 직결될 수 있어 관련 기술 투자가 더욱 활발해질 것으로 예상됩니다.