IT 전문 매체 '하우투긱(How-To Geek)'이 라즈베리 파이 5(Raspberry Pi 5)에서 대규모 언어모델(LLM)을 직접 실행하는 실험을 진행해 화제가 되고 있습니다. 이 실험은 저전력, 저사양 엣지 디바이스(edge device)에서 LLM을 구동했을 때 어떤 결과가 나올지 직접 확인하고자 하는 시도였습니다. 결과는 예상대로 처참했지만, 이는 현재 LLM 기술의 물리적 한계를 명확히 보여주는 동시에, 미래의 온디바이스(on-device) AI 가능성을 엿볼 수 있는 흥미로운 사례로 평가됩니다.
실험에 사용된 라즈베리 파이 5는 8GB RAM을 탑재했으며, 4비트 양자화(quantization)된 70억 매개변수(7B parameter) 규모의 라마 2(Llama 2) 모델을 구동했습니다. 이는 모델 크기를 줄여 메모리 사용량을 최적화한 버전임에도 불구하고, 텍스트 생성 속도는 단어당 약 10초에 달하는 극히 느린 수준을 보였습니다. 즉, 한 문장을 생성하는 데 수 분이 걸리는 비현실적인 성능이었으며, 이는 LLM이 요구하는 연산 능력과 라즈베리 파이의 하드웨어 사양 간의 엄청난 격차를 여실히 드러냈습니다. 현재 대부분의 LLM은 고성능 GPU와 대량의 메모리를 필요로 합니다.
이번 실험은 현재 기술 수준에서 라즈베리 파이와 같은 저전력 기기에서 복잡한 LLM을 직접 구동하는 것이 사실상 불가능하다는 점을 다시 한번 확인시켜 주었습니다. 그러나 이는 동시에 미래 온디바이스 AI의 발전 방향을 제시하기도 합니다. 앞으로 모델 경량화 기술과 칩셋 성능이 더욱 발전한다면, 스마트폰이나 소형 IoT 기기에서도 제한적이나마 LLM이 구동될 수 있을 것입니다. 이러한 엣지 AI(edge AI)는 클라우드 연결 없이도 개인화된 AI 서비스를 제공하고, 데이터 프라이버시를 강화하며, 네트워크 지연을 줄이는 등 다양한 이점을 가져올 잠재력이 있습니다.