약 8달러에 불과한 저가형 마이크로컨트롤러(MCU)인 ESP32-S3에서 2,890만 개 매개변수(parameter)를 가진 대규모 언어모델(LLM)이 서버 연결 없이 성공적으로 구동되었습니다. 이 프로젝트는 구글(Google)의 젬마(Gemma) 모델에 사용된 '레이어별 임베딩(Per-Layer Embeddings)' 기법을 마이크로컨트롤러 환경에 적용하여, 초당 약 9.5개 토큰(token)의 속도로 텍스트를 생성하는 놀라운 성과를 보여주었습니다.
핵심은 제한적인 메모리 환경을 극복하는 독창적인 메모리 배치 전략에 있습니다. 2,890만 매개변수 중 약 2,500만 개에 달하는 대규모 임베딩 테이블(embedding table)을 느린 16MB 플래시 메모리에 저장하고, 실제 연산에 필요한 약 6개 행, 450바이트(byte)의 데이터만 토큰 생성 시마다 읽어옵니다. 512KB의 고속 SRAM에는 연산 코어를, 8MB PSRAM에는 출력 헤드와 작업 메모리를 배치하여 효율성을 극대화했습니다. 4비트(bit) 양자화된 모델의 전체 크기는 14.9MB로, 기존 유사 칩에서 실행되던 26만 매개변수 모델보다 약 100배 많은 매개변수를 수용할 수 있게 되었습니다.
이 기술은 '타이니 스토리(TinyStories)' 데이터셋으로 훈련되어 짧고 단순한 이야기는 일관성 있게 생성하지만, 질문 응답, 명령 수행, 코드 작성 등 복잡한 작업에는 한계가 있습니다. 이는 메모리 배치 기법이 추론 능력 자체를 높이는 것이 아니라, 대형 모델을 작은 칩에 '수용'하는 데 중점을 두었기 때문입니다. 그럼에도 불구하고, 이번 성과는 초소형, 저전력, 저비용 기기에서도 독립적으로 AI를 구동할 수 있는 가능성을 열었다는 점에서 큰 의미를 가집니다. 향후 음성-텍스트 변환(TTS) 모델 등 다양한 소형 AI 모델이 네트워크 연결 없이 일상 기기에 내장되어 새로운 사용자 경험을 제공할 잠재력을 보여줍니다.