최근 '자나스(Janas)'라는 새로운 로컬 추론 엔진이 공개되어 일반 개인용 컴퓨터(PC)에서도 대규모 언어모델(LLM)을 효율적으로 실행할 수 있는 길이 열렸습니다. 특히 램(RAM) 용량을 초과하는 전문가 혼합(MoE) 모델을 NVMe SSD와 메모리 캐싱을 활용해 구동하며, GPU 없이도 작동하는 것이 특징입니다. 이는 고성능 AI 모델을 구동하기 위해 값비싼 하드웨어가 필요하다는 통념을 깨는 중요한 진전으로 평가받고 있습니다.
자나스는 MoE 모델의 특성을 활용합니다. MoE 모델은 입력에 따라 필요한 일부 전문가(expert) 가중치만 선택적으로 사용하는데, 자나스는 이 가중치들을 SSD에 저장하고 필요한 부분만 읽어옵니다. 자주 사용되는 가중치는 램에 캐시하여 접근 속도를 높입니다. 실제 테스트에서 코어 울트라 9(Core Ultra 9) 프로세서와 32GB 램을 탑재한 노트북에서 48.4GB 크기의 '큐웬3-넥스트-80B-A3B(Qwen3-Next-80B-A3B)' 모델을 초당 24토큰(tokens/sec)으로 실행했으며, 이는 동일 기기에서 '라마.cpp(llama.cpp)'가 기록한 초당 2.8토큰보다 훨씬 빠른 속도입니다. 초안 기반 생성(draft-based generation) 방식을 적용하면 채팅 속도는 초당 37토큰까지 향상됩니다. 현재 리눅스(Linux)와 윈도우(Windows) x86-64를 지원하며, 터미널 채팅, 코드 자동완성, HTTP API 연동 기능 등을 제공합니다.
이러한 기술 발전은 개인 개발자와 1인 창업자에게 큰 의미를 가집니다. 고가의 GPU 서버 없이도 로컬 환경에서 대규모 AI 모델을 실험하고 개발할 수 있게 되어, AI 기술 접근성을 크게 높일 수 있습니다. 특히 MoE 모델의 효율적인 로컬 구동은 특정 도메인에 특화된 소규모 AI 에이전트나 개인 맞춤형 AI 서비스 개발에 유리하며, 비용 부담을 줄여 혁신적인 아이디어를 빠르게 현실화할 기회를 제공합니다. 앞으로 하드웨어 병목 현상이 점차 해소되고 이러한 로컬 추론 엔진이 더욱 최적화된다면, AI의 대중화와 다양한 개인화 서비스의 등장을 가속화할 것으로 기대됩니다.