개인 개발자가 애플 M1 맥북 프로(8GB RAM)에서 단 1.5GB의 메모리만 사용하여 약 2억 7천만 개의 매개변수(parameter)를 가진 대규모 언어모델(LLM)을 훈련하는 데 성공했다고 발표했습니다. 이는 고성능 서버나 클라우드 자원 없이도 개인용 기기에서 상당한 규모의 LLM을 개발하고 실험할 수 있음을 보여주는 중요한 진전입니다.
이번 성과는 RWKV-8 헤론(Heron) 아키텍처와 1비트 ROSA(Recurrent Orthogonal State Activation) 활성화 함수를 채택한 덕분입니다. 기존에 시도했던 KAN이나 Hyena 같은 아키텍처는 자원 소모가 커서 M1 맥북 환경에서는 어려움을 겪었으나, RWKV-8 헤론은 훨씬 효율적인 것으로 나타났습니다. 특히, ROSA SAM(State Activation Module)의 일부 연산을 GPU 대신 CPU에서 처리하는 최적화 전략을 통해 메모리 사용량을 획기적으로 줄였습니다. 2048의 컨텍스트 길이와 32개 레이어를 가진 모델을 훈련하면서도 1.5GB의 메모리만 사용했지만, 낮은 메모리 대역폭으로 인해 스텝당 약 30초의 지연 시간과 초당 70토큰(token)의 처리량은 여전히 개선이 필요한 부분으로 언급되었습니다.
이러한 개발은 온디바이스 AI(On-device AI)의 가능성을 한층 더 확장합니다. 고가의 GPU 서버 없이도 개인 개발자나 소규모 팀이 LLM을 직접 미세조정(fine-tuning)하거나 새로운 모델을 실험할 수 있는 길이 열린 것입니다. 이는 AI 기술의 민주화를 가속화하고, 데이터 프라이버시가 중요한 환경에서 로컬 기기 내에서 AI를 구동하는 새로운 애플리케이션 개발을 촉진할 수 있습니다. 비록 훈련 속도에는 한계가 있지만, 자원 효율적인 모델 아키텍처와 최적화 기술의 발전이 개인 컴퓨팅 환경에서의 AI 혁신을 이끌고 있음을 시사합니다.