단일 스레드 중앙처리장치(CPU)의 성능 향상률이 둔화되면서, 인공지능(AI) 연산은 도메인 특화 아키텍처(DSA) 칩 경쟁의 중심이 되었습니다. 엔비디아(NVIDIA)의 그래픽처리장치(GPU)부터 구글(Google)의 텐서처리장치(TPU), AMD 인스팅트(Instinct), 세레브라스(Cerebras) WSE, 트레이니움(Trainium), 그록(Groq) LPU에 이르기까지, 다양한 AI 칩들이 각기 다른 데이터 이동 방식과 연산 전략을 채택하며 성능 경쟁을 벌이고 있습니다. 특히 대규모 언어모델(LLM)의 핵심인 트랜스포머(Transformer) 모델의 학습(training)과 사전 채우기(prefill)는 연산 집약적인 행렬 곱셈(GEMM)이 중요하며, 디코딩(decode)은 메모리 대역폭 집약적인 행렬-벡터 곱셈(GEMV)이 핵심이어서, 칩의 경쟁력은 단순히 행렬 곱셈 성능을 넘어 메모리 배치와 데이터 이동 효율성에서 갈립니다.
엔비디아 GPU는 쿠다(CUDA)의 프로그래밍 가능성과 동적 지연 은폐(dynamic latency hiding)를 통해 범용 가속 컴퓨팅을 지향합니다. 스트리밍 멀티프로세서(SM) 내 텐서 코어(Tensor Core)를 활용해 행렬 곱셈을 처리하며, 비동기 행렬 곱셈 명령과 소프트웨어 파이프라이닝을 통해 연산과 데이터 이동을 겹치게 합니다. 고대역폭 메모리(HBM)와 L2 캐시 용량을 지속적으로 늘리고, 엔브이링크(NVLink)와 엔브이스위치(NVSwitch)로 GPU 간 고속 통신을 구현하여 대규모 시스템 확장을 지원합니다. 반면, 구글 TPU는 캐시나 하드웨어 스케줄러 없이 대형 시스톨릭 어레이(systolic array)에 실리콘을 집중하고, XLA 컴파일러가 모든 사이클과 메모리 이동을 사전에 계획합니다. 가중치 고정형 데이터플로우(weight-stationary dataflow)를 사용해 가중치와 활성화(activation) 재사용을 실리콘 배선에 내장하며, 소프트웨어 관리 스크래치패드(scratchpad) 메모리 계층을 통해 효율적인 데이터 관리를 추구합니다.
이러한 AI 칩 아키텍처 경쟁은 AI 기술의 발전 방향을 결정하는 중요한 요소입니다. 최적의 플랫폼은 단 하나로 수렴하지 않으며, 학습(training), 사전 채우기(prefill), 디코딩(decode) 중 어떤 작업에 중점을 두는지, 모델 크기, 배치(batch) 크기, 동적 연산 여부, 통신 패턴, 소프트웨어 생태계, 그리고 비용과 지연 시간 중 무엇을 우선하느냐에 따라 달라집니다. 엔비디아는 쿠다(CUDA) 생태계의 강력한 방어력을 기반으로 범용성을 유지하며 시장을 선도하고 있지만, 구글 TPU는 특정 AI 워크로드에 최적화된 하드웨어-소프트웨어 통합으로 높은 효율성을 달성합니다. 이처럼 다양한 접근 방식은 AI 연산의 병목 현상을 해결하고, 더 빠르고 효율적인 AI 시스템을 구축하기 위한 끊임없는 혁신을 이끌고 있습니다. 앞으로도 이러한 칩 아키텍처의 발전은 AI 모델의 복잡성과 성능을 한 단계 더 끌어올리는 데 결정적인 역할을 할 것입니다.