인도의 야들라팔리 아비나시 리키(Yadlapalli Avinash Ricky)가 NVMe 메모리 버스를 활용한 250M 파라미터 규모의 초소형 언어 모델(SLM) 'AviGPT-250M-Instruct'를 공개했습니다. 이 모델은 488MB의 매우 적은 VRAM만을 사용하며, 오프라인 환경에서도 구동될 수 있도록 설계되었습니다. 특히 NVMe SSD를 직접 활용하여 사실 정보 검색과 수학 연산의 정확도를 극대화하고, 대규모 언어 모델(LLM)의 고질적인 문제인 환각(hallucination) 현상을 효과적으로 해결한 것이 특징입니다.
AviGPT-250M은 '반(Semi-Parametric) 분리' 아키텍처를 도입하여 인지 추론(Cognitive Reasoning)은 250M 트랜스포머 가중치로 처리하고, 사실 기억(Factual Memory)은 초고속 NVMe SSD에 저장된 SQLite FTS5 엔진을 통해 관리합니다. 이를 통해 0.002ms의 초저지연 속도로 데이터를 검색하며, 기존 벡터 데이터베이스(Chroma, FAISS)보다 최대 22,500배 빠른 성능을 자랑합니다. 또한, 수학 연산은 샌드박스화된 AST SafeMath Evaluator로 라우팅하여 100% 결정론적인 정확도를 보장합니다. 이러한 독창적인 접근 방식 덕분에 AviGPT-250M은 1.1B 파라미터의 TinyLlama를 포함한 여러 경쟁 모델들을 뛰어넘는 종합 효율성(Composite Efficiency)을 달성했습니다.
이 기술은 엣지 AI(Edge AI) 분야에 중요한 의미를 가집니다. 적은 자원으로도 높은 정확성과 효율성을 제공하여, 스마트폰, 사물 인터넷(IoT) 기기 등 제한된 환경에서도 고성능 AI를 구현할 수 있는 길을 열었습니다. 특히 사실 정보의 환각과 수학적 오류를 근본적으로 차단함으로써, 금융, 의료, 과학 연구 등 정확성이 필수적인 분야에서 AI의 신뢰도를 크게 높일 수 있을 것으로 기대됩니다. AviGPT-250M은 독립 개발자가 혁신적인 아이디어로 기존의 한계를 돌파할 수 있음을 보여주는 사례로, 향후 다양한 엣지 디바이스와 오프라인 환경에서의 AI 활용을 가속화할 잠재력을 지니고 있습니다.