엔키 LLM(Enki LLM) 프로젝트가 쿠다(CUDA)나 C++ 같은 외부 라이브러리 의존성 없이 순수 러스트(Rust)로 개발된 혁신적인 대규모 언어모델(LLM) 추론 엔진을 선보였습니다. 이 엔진은 라마 3.2 1B(Llama 3.2 1B) 모델을 엔비디아 테슬라 T4(Nvidia Tesla T4) GPU에서 초당 약 40토큰(tok/s)의 속도로 실행하며, 가장 주목할 만한 기능은 추론 과정 중 GPU VRAM과 CPU RAM 사이에서 모델의 활성 실행과 KV-캐시(KV-cache)를 실시간으로 전환(live brain migration)할 수 있다는 점입니다. 이는 하드웨어 자원을 유연하게 활용할 수 있는 새로운 가능성을 제시합니다.
엔키 LLM은 약 2,000줄의 최소한의 코드로 구현되었으며, 사페텐서(Safetensors) 파서, 토크나이저(Tokenizer), RoPE, RMSNorm, SwiGLU 등 모든 핵심 구성 요소를 러스트로 직접 구축했습니다. 특히, 엔키 런타임(Enki runtime) 위에 구축되어 러스트 함수를 직접 LLVM 비트코드(LLVM bitcode)로 컴파일한 후 SPIR-V 셰이더로 변환하여 벌칸 1.3(Vulkan 1.3)을 통해 GPU에서 실행합니다. CPU로 전환될 때는 레이온(Rayon)을 사용하여 모든 CPU 코어에서 병렬로 동일한 커널을 실행하여, 엔비디아(Nvidia) GPU, 인텔 UHD(Intel UHD) 내장 그래픽, 멀티코어 CPU 등 다양한 하드웨어에서 동일한 바이너리를 수정 없이 구동할 수 있는 크로스 실리콘 이식성(cross-silicon portability)을 제공합니다.
이 기술은 대규모 언어모델(LLM)의 배포 및 운영 방식에 중요한 변화를 가져올 수 있습니다. 특히, GPU 자원이 제한적이거나 비용 효율적인 운영이 필요한 환경에서 유용하게 활용될 수 있습니다. 실시간 전환 기능은 피크 로드(peak load) 시 GPU를 활용하고, 낮은 로드 시에는 저렴한 CPU 자원으로 전환하여 비용을 절감하는 하이브리드(hybrid) 추론 전략을 가능하게 합니다. 이는 클라우드 환경뿐만 아니라 엣지 디바이스(edge device)나 온프레미스(on-premise) 환경에서도 LLM을 더욱 유연하고 효율적으로 운영할 수 있는 길을 열어줄 것입니다. 개발자들은 이제 특정 하드웨어에 얽매이지 않고, 러스트의 안정성과 성능을 활용하여 보다 범용적인 LLM 애플리케이션을 구축할 수 있게 되었습니다.