AI 모델을 학습시키는 것만큼이나 중요한 것이 바로 추론(inference)입니다. 사용자의 질문에 AI가 답변을 생성하는 이 과정은 2026년까지 전체 AI 컴퓨팅의 약 3분의 2를 차지할 것으로 예상되며, 배포된 모델의 전체 생애 컴퓨팅 비용 중 80~90%를 차지할 정도로 막대한 비중을 차지하고 있습니다. 이는 토큰 처리 비용과 지연시간이 AI 인프라의 경제성을 결정하는 핵심 요인이 되고 있음을 의미합니다.
하나의 AI 요청은 사용자의 텍스트 입력이 토큰화되고, API 게이트웨이를 거쳐 인증, 라우팅, 스케줄링, KV 캐시(Key-Value Cache) 처리, GPU 및 HBM(고대역폭 메모리) 연산, CUDA 커널 실행, 그리고 NVLink와 같은 네트워크 장비를 통과하여 최종 응답으로 돌아오는 15단계의 복잡한 여정을 거칩니다. 이 과정에서 입력을 병렬 처리하는 프리필(prefill)은 연산량과 최초 토큰 지연시간에, 토큰을 하나씩 생성하는 디코드(decode)는 메모리 대역폭과 생성 속도에 크게 영향을 받습니다. 이러한 병목 현상을 해결하기 위해 지속 배치(continuous batching)와 PagedAttention 기술은 GPU 활용률과 동시 처리량을 높이고, 프롬프트 캐싱(prompt caching)은 반복 입력 비용을 최대 90%, 긴 프롬프트의 지연시간을 약 85%까지 줄여줍니다. 또한, FP16에서 FP8, 심지어 FP4로 정밀도를 낮추는 양자화(quantization)는 메모리 사용량을 줄여 더 많은 동시 사용자를 처리할 수 있게 합니다.
이러한 기술 최적화 덕분에 고정된 품질을 제공하는 비용은 2024년 초부터 연간 중앙값 약 200배 하락했지만, 저렴해진 토큰 비용이 더 많은 AI 사용을 촉진하는 제본스 역설(Jevons Paradox)이 나타나 전체 사용량은 오히려 증가하고 있습니다. 추론이 AI 경제의 중심이 되면서, HBM 대역폭, NVLink 연결망, 광학 부품, 전력 같은 물리적 병목 현상과 효율성을 고객 고착(customer lock-in)으로 전환한 추론 플랫폼의 가치가 더욱 커지고 있습니다. 구글(Google)이 2026년 5월 자사 서비스에서 월 3.2천조 개 토큰을 처리할 것이라고 밝힌 것처럼, 추론 수요는 폭발적으로 증가하고 있으며, 이는 데이터센터 인프라와 AI 서비스 제공 방식에 근본적인 변화를 요구하고 있습니다.