최근 '나이트런(NightRun)'이라는 UEFI(Unified Extensible Firmware Interface) 애플리케이션이 라즈베리 파이 5와 x86 기반 PC에서 운영체제(OS) 없이 대규모 언어모델(LLM)을 직접 구동하는 데 성공하며 기술 커뮤니티의 주목을 받고 있습니다. 이는 펌웨어 수준에서 AI 모델을 실행하는 전례 없는 시도로, 저전력, 저사양 기기에서도 온디바이스 AI(On-device AI)를 구현할 수 있는 잠재력을 보여줍니다.
나이트런은 UEFI 환경에서 직접 실행되며, 리눅스(Linux)나 윈도우(Windows) 같은 OS의 도움 없이 하드웨어 자원에 접근하여 LLM 추론(inference)을 수행합니다. 현재는 7억 5천만 개의 매개변수(parameter)를 가진 소형 LLM인 '틴지(TinyLlama)'를 라즈베리 파이 5에서 약 150MB의 VRAM을 사용하여 초당 1.5 토큰(token)의 속도로 실행할 수 있습니다. 이는 아직 상업적으로 활용하기에는 느린 속도지만, OS 오버헤드 없이 펌웨어 레벨에서 LLM을 구동했다는 점에서 기술적 의미가 매우 큽니다. 개발자는 이를 통해 시스템 부팅 시간을 단축하고, 보안을 강화하며, 특정 목적에 최적화된 AI 기기를 만들 수 있다고 설명합니다.
이번 성과는 온디바이스 AI의 미래에 중요한 이정표가 될 수 있습니다. 운영체제 없이 LLM을 직접 실행함으로써, 스마트폰, 임베디드 시스템, IoT 기기 등 다양한 저사양 장치에서도 AI 기능을 구현할 수 있는 길이 열립니다. 또한, OS를 우회하여 LLM을 구동하는 방식은 잠재적으로 보안 취약점을 줄이고, 데이터 프라이버시를 강화하는 데 기여할 수 있습니다. 이는 클라우드 의존도를 낮추고, AI 모델이 기기 자체에서 독립적으로 작동하는 새로운 컴퓨팅 패러다임을 제시하며, 향후 AI 기술의 적용 범위를 한층 더 넓힐 것으로 기대됩니다.