엔비디아(NVIDIA)의 젯슨 AGX 토르(Jetson AGX Thor) 플랫폼이 텐서RT 엣지-LLM(TensorRT Edge-LLM) 소프트웨어 최적화를 통해 MLPerf 엣지 에이전틱 벤치마크(MLPerf Edge Agentic Benchmark)에서 놀라운 성능 향상을 기록했습니다. 이 조합은 기존 대비 6.4배 빠른 속도로 복잡한 AI 추론(inference) 작업을 완료하며, 엣지 디바이스에서의 대규모 언어모델(LLM) 활용 가능성을 크게 확장했습니다.
이번 성과는 특히 에이전트 기반 AI(Agentic AI) 워크로드에 초점을 맞춘 것으로, 이는 LLM이 외부 도구와 상호작용하며 복잡한 다단계 작업을 수행하는 시나리오를 의미합니다. 젯슨 AGX 토르는 엔비디아의 최신 엣지 AI 프로세서로, 강력한 컴퓨팅 성능을 제공합니다. 여기에 텐서RT(TensorRT)라는 엔비디아의 AI 추론 최적화 소프트웨어 스택이 결합되어, LLM의 연산 효율성을 극대화한 것이 핵심입니다. 이로써 로봇이나 드론 등 현장 디바이스에서 실시간으로 복잡한 의사결정을 내릴 수 있는 기반이 마련된 것입니다.
이번 기술 발전은 자율 로봇, 스마트 제조, 국방 등 다양한 엣지 AI 애플리케이션 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 엣지 디바이스가 클라우드 연결 없이도 LLM 기반의 고도화된 인지 및 추론 능력을 갖추게 되면, 응답 속도가 빨라지고 데이터 보안이 강화되며, 네트워크 대역폭 제약으로부터 자유로워질 수 있습니다. 이는 산업 현장의 생산성 향상과 새로운 서비스 모델 창출에 기여할 중요한 이정표가 될 것입니다.