단돈 8달러에 불과한 ESP32-S3 마이크로컨트롤러에서 2,890만 개 매개변수(parameter)를 가진 대규모 언어모델(LLM)이 성공적으로 구동되어 업계의 주목을 받고 있습니다. 이는 이전까지 동일한 칩에서 구동 가능했던 모델(26만 개 매개변수)보다 약 100배 더 큰 규모로, 서버 연결 없이 온디바이스(on-device)에서 초당 약 9토큰(token)의 속도로 텍스트를 생성합니다.
이 놀라운 성과는 구글의 제미나이(Gemma) 모델에서 사용된 '퍼 레이어 임베딩(Per-Layer Embeddings)' 아이디어를 마이크로컨트롤러 환경에 적용한 덕분입니다. LLM 매개변수의 대부분을 차지하는 임베딩 테이블을 느리지만 용량이 큰 플래시(flash) 메모리에 저장하고, 실제 연산에 필요한 소량의 데이터만 빠른 SRAM(Static Random-Access Memory)으로 불러와 처리하는 방식입니다. 이를 통해 전체 모델 크기 14.9MB(4비트 기준) 중 2,500만 개 매개변수가 플래시 메모리에 상주하며, 필요한 부분만 선택적으로 로드하여 메모리 제약이 심한 초소형 칩에서도 대규모 모델을 효율적으로 실행할 수 있게 되었습니다.
이번 성공은 저비용 하드웨어에서 대규모 언어모델을 온전히 구동할 수 있다는 가능성을 보여주며, 엣지 AI(Edge AI) 분야에 중요한 의미를 가집니다. 인터넷 연결 없이 독립적으로 작동하는 AI 기기, 즉 스마트 가전, 웨어러블 기기, 산업용 센서 등 다양한 분야에서 AI 기능을 구현하는 데 필요한 비용과 복잡성을 크게 낮출 수 있습니다. 비록 현재 모델은 'TinyStories' 데이터셋으로 학습되어 간단한 이야기 생성에 한정되지만, 핵심은 '아키텍처'에 있으며, 향후 더 복잡한 작업을 수행하는 모델을 초소형 칩에 탑재할 수 있는 기술적 기반을 마련했다는 점에서 그 파급력이 클 것으로 예상됩니다.