최근 한 실험에서 엔비디아(NVIDIA) RTX 3090 그래픽카드 한 장으로 로컬 대규모 언어모델(LLM)의 도구 호출(tool calling) 능력을 평가했습니다. 이는 LLM이 외부 도구를 활용해 복잡한 작업을 수행하는 에이전트(agent) 역할을 얼마나 잘 해낼 수 있는지 알아보기 위함입니다. 100개의 다단계 과제를 각 모델별로 5회씩 반복 수행하고, 공식 채점기로 최종 성공 여부를 측정했습니다. 이 실험은 클라우드 기반 LLM에 의존하지 않고도 온디바이스(on-device) AI의 실용성을 탐색하는 중요한 시도입니다.
실험 결과, 5회 반복 테스트에서 모든 과제를 성공적으로 완료한 횟수는 구글(Google)의 로컬 모델인 Gemma4 26B가 60개로 가장 높았습니다. 이는 클로드 소네트(Claude Sonnet) 5.5의 57개와 매우 근접한 수치입니다. 이어서 LFM2.5 24B가 45개, Qwen3.8 27B가 42개, 클로드 하이쿠(Claude Haiku) 5.5가 36개, GPT-OSS 20B가 28개를 기록했습니다. 특히 Qwen3.8은 한 번이라도 성공한 과제는 83개로 가장 많았지만, 5회 모두 성공한 비율은 상대적으로 낮아 일관성 측면에서는 아쉬움을 보였습니다. 또한, 클로드(Claude) 모델이 작업 중 사용자에게 질문을 던지는 방식이 오히려 실패로 이어지는 경우도 있어, 프롬프트(prompt) 설계의 중요성도 부각되었습니다.
이번 실험은 고가의 클라우드 API(응용 프로그래밍 인터페이스) 없이도 개인용 컴퓨터 수준의 하드웨어에서 상당한 수준의 AI 에이전트 기능을 구현할 수 있다는 가능성을 보여줍니다. 이는 1인 개발자나 소규모 스타트업이 비용 효율적으로 AI 기반 서비스를 구축하고 실험할 수 있는 기회를 제공할 수 있습니다. 특히 로컬 LLM의 성능 향상은 데이터 프라이버시(privacy)가 중요한 산업 분야나 인터넷 연결이 어려운 환경에서도 AI를 활용할 수 있는 길을 열어줄 것으로 기대됩니다. 앞으로 로컬 LLM의 최적화와 경량화(lightweighting) 기술이 발전한다면, 더욱 다양한 온디바이스 AI 애플리케이션(application)이 등장할 것입니다.