머신러닝(ML) 모델이 일상 소프트웨어에 깊이 파고들면서, 모델 실행 시간의 대부분을 차지하는 행렬 곱셈, 컨볼루션 등 핵심 연산(compute kernels)의 최적화가 중요해지고 있습니다. 전통적으로 이 커널들을 최적화하려면 GPU의 저수준 코드(low-level GPU code)를 직접 작성할 수 있는 전문 엔지니어가 필요했지만, 최근 대규모 언어모델(LLM) 기반 에이전트 시스템이 이러한 수고를 크게 줄여주고 있습니다.
최근 발표된 'Kernel Forge'는 이러한 LLM 기반 에이전트 시스템의 한계를 극복하고, PyTorch 모델의 CUDA 커널을 자동으로 생성하고 최적화하는 오픈소스 도구입니다. 기존 도구들이 무작위 텐서나 고립된 커널에 주로 평가되고, LLM PyTorch 모델만 대상으로 하며, 디버깅 기능이 부족했던 것과 달리, Kernel Forge는 수정되지 않은 PyTorch 모델을 직접 받아 비전, 확산(diffusion), LLM 워크로드 등 다양한 분야를 지원합니다. 특히 몬테카를로 트리 탐색(MCTS)을 활용해 여러 최적화 경로를 탐색하며, 그래픽 사용자 인터페이스(GUI)를 통해 진행 상황 모니터링 및 디버깅을 지원하는 것이 특징입니다. NVIDIA DGX Spark와 GB10 GPU 환경에서 50번의 최적화 반복만으로 PyTorch 이저 모드(eager mode)보다 최대 2.83배 빠른 성능을 달성했습니다.
Kernel Forge의 등장은 ML 모델 개발 및 배포 과정에 큰 변화를 가져올 잠재력을 지닙니다. 전문가의 개입 없이도 커널 최적화를 자동화함으로써 개발 시간과 비용을 크게 절감하고, 더 많은 개발자가 고성능 ML 모델을 쉽게 구축할 수 있도록 돕습니다. 이는 ML 모델의 상용화와 확산을 가속화하고, 다양한 산업 분야에서 AI 기술의 적용을 더욱 활발하게 만들 중요한 진전으로 평가됩니다.