한 개발자가 마이크로소프트의 엑스박스 시리즈 S|X 콘솔을 활용해 대규모 언어모델(LLM) 기반 채팅과 스테이블 디퓨전(Stable Diffusion) 이미지 생성을 로컬에서 구동하는 'xllama' 프로젝트를 선보였습니다. 이 유니버설 윈도우 플랫폼(UWP) 애플리케이션은 클라우드 연결 없이 콘솔 자체에서 모든 AI 추론(inference)을 처리하며, 게임패드로 조작 가능한 사용자 인터페이스(UI)를 제공하는 것이 특징입니다.
xllama는 엑스박스 시리즈 S|X의 개발자 모드(약 19달러의 일회성 활성화 비용 필요)에서 실행됩니다. 초기에는 llama.cpp를 포팅하여 CPU 전용으로 시작했지만, 이후 ONNX 런타임 GenAI와 DirectML을 활용하도록 전환되었습니다. 엑스박스 시리즈 S에 탑재된 8코어 Zen 2 CPU는 자동 회귀(autoregressive) 디코딩에 강점을 보이며, RDNA 2 GPU는 배치 연산(batch compute)과 이미지 생성에 뛰어난 성능을 발휘합니다. 특히 10GB의 GDDR6 통합 메모리는 CPU와 GPU가 효율적으로 자원을 공유하게 해줍니다. 이 프로젝트는 로컬 추론뿐만 아니라, 콘솔 내에서 부분적인 미세조정(fine-tuning)까지 가능하도록 설계되어 온디바이스 AI의 잠재력을 최대한 활용하려 합니다.
이 프로젝트는 현대 소비자용 콘솔 하드웨어가 로컬 LLM 추론을 위한 유망하면서도 아직 충분히 탐구되지 않은 플랫폼임을 입증합니다. 클라우드 서비스에 대한 의존도를 줄여 개인 정보 보호를 강화하고, 인터넷 연결이 불안정한 환경에서도 AI 기능을 사용할 수 있게 합니다. 또한, 엑스박스 시리즈 S와 같은 비교적 저렴한 하드웨어에서 고성능 AI를 구동할 수 있다는 점은 향후 게임 AI, 온디바이스 비서 등 다양한 분야에서 새로운 애플리케이션 개발의 기반이 될 수 있습니다. 이는 개발자들에게 콘솔 하드웨어의 새로운 활용 가능성을 제시하며, AI 기술의 접근성을 넓히는 데 기여할 것으로 보입니다.