NetraRuntime이 AMD GPU 환경에서 대규모 언어모델(LLM) 추론 성능을 획기적으로 개선할 수 있는 오픈소스 프로젝트 '네트라 커널(Netra Kernel)'을 공개했습니다. 이 프로젝트는 엔비디아(NVIDIA)의 텐서RT(TensorRT)와 유사한 접근 방식을 채택하여, 모델 연산을 미리 컴파일하고 최적화된 로우 어셈블리(raw-assembly) 커널로 패키징하는 것이 핵심입니다. 이를 통해 AMD GPU에서 LLM 추론 시 네이티브에 가까운 최고 성능을 끌어낼 수 있게 됩니다.
네트라 커널은 특정 서빙 계약(serving contract)에 맞춰 모델 연산을 고정 계약 로우 어셈블리 커널로 컴파일하고, 이를 '네트라 엔진(Netra Engine)'이라는 로드 가능한 형태로 제공합니다. 이 과정에서 프로파일링, 전술(tactics) 선택, 레이아웃 및 정적 메모리 계획 등 텐서RT와 유사한 워크플로우를 AMD GPU 커널에 적용합니다. 특히, gfx950/wave64 아키텍처를 타겟으로 하며, LLM을 위한 고처리량 FP8 추론에 중점을 둡니다. 초기 테스트 결과, 8개의 AMD MI350X GPU에서 Qwen3.6-35B-A3B-FP8 모델을 구동했을 때 초당 78,498.66 출력 토큰이라는 인상적인 성능을 기록했습니다.
이러한 네트라 커널의 등장은 AMD GPU 생태계에 중요한 의미를 가집니다. 엔비디아 GPU에 비해 상대적으로 부족했던 최적화 도구와 생태계 지원을 강화하며, AMD 하드웨어를 활용하는 AI 개발자와 기업들에게 새로운 성능 향상 기회를 제공합니다. 모델에 종속되지 않는 네이티브 성능, 예측 가능한 서빙, 최소화된 핫 패스(hot path) 등은 운영 환경에서 LLM 추론의 안정성과 효율성을 크게 높일 수 있습니다. 궁극적으로 이는 AMD GPU가 AI 시장에서 경쟁력을 확보하고, 더 많은 개발자가 AMD 플랫폼을 선택하게 만드는 중요한 촉매제가 될 것으로 보입니다.