엔비디아(NVIDIA)가 로컬 환경에서 인공지능(AI) 추론 요청을 여러 컴퓨터에 분산 처리하는 새로운 도구인 '개인 AI 라우터(Personal AI Router)'를 발표했습니다. 이 라우터는 같은 네트워크에 연결된 여러 대의 컴퓨터를 활용해 다양한 AI 앱과 에이전트로부터 들어오는 요청을 효과적으로 배분하여 처리하는 역할을 합니다. 이는 특히 여러 AI 에이전트가 동시에 작동하는 환경에서 로컬 자원 활용도를 극대화하는 데 중점을 둡니다.
개인 AI 라우터는 올라마(Ollama)와 LM 스튜디오(LM Studio)와 같은 인기 있는 로컬 추론 엔진을 지원하며, 오픈AI(OpenAI) 및 올라마 호환 API를 통해 기존 AI 애플리케이션 및 에이전트와 쉽게 연동될 수 있습니다. 이 라우터는 현재 작업량과 GPU 사용률을 고려하여 추론 엔진과 모델이 설치된 컴퓨터 중 가장 적합한 곳으로 요청을 보냅니다. 데스크톱 앱을 통해 엔진 설치, 모델 다운로드, 작업 현황 및 GPU/메모리 사용량을 관리할 수 있으며, 윈도우 11(Windows 11), 리눅스(Linux), macOS 등 다양한 운영체제를 혼합하여 사용할 수 있습니다. 단, 이 도구는 하나의 요청을 여러 GPU에 나누어 처리하거나 모델 하나를 여러 기기에 분산 실행하는 기능은 제공하지 않으며, 개별 요청은 한 대의 컴퓨터에서 처리됩니다.
이러한 로컬 AI 라우터의 등장은 개인 개발자나 소규모 팀이 고가의 클라우드 GPU 자원에 의존하지 않고도 AI 개발 및 테스트 환경을 구축할 수 있는 중요한 기회를 제공합니다. 특히 프롬프트와 응답이 로컬 네트워크 내에서 처리되므로 데이터 보안 및 개인 정보 보호 측면에서 이점을 가지며, 인터넷 연결 없이도 AI 작업을 수행할 수 있습니다. 엔비디아의 이번 발표는 로컬 AI 생태계의 성장을 가속화하고, 더 많은 개발자가 AI 기술에 접근하고 활용할 수 있도록 지원하는 중요한 단계로 평가됩니다.