최근 'Gutsy'라는 이름의 새로운 초소형 인공지능(AI) 모델이 공개되어, 중앙처리장치(CPU) 환경에서도 빠르고 신뢰할 수 있는 의사결정을 지원하며 관심을 모으고 있습니다. 이 모델은 500~700MB대의 매우 작은 크기로 로컬에서 실행될 수 있어, 데이터가 외부로 유출될 걱정 없이 사내 시스템에 직접 통합하여 사용할 수 있다는 점이 큰 장점입니다. 텍스트나 JSON 형태의 상태 정보를 입력받아, '예/아니오', '선택', '점수' 등 다양한 유형의 질문에 대해 각 옵션의 확률을 반환합니다.
Gutsy는 Qwen3.5-0.8B 모델을 미세조정(fine-tuning)하여 개발되었으며, llama.cpp를 통해 일반적인 CPU에서 구동됩니다. 775MB 크기의 Q8_0 GGUF 파일과 505MB 크기의 Q4_K_M GGUF 파일 두 가지 버전으로 제공되어 사용 환경에 맞춰 선택할 수 있습니다. 특히 Q4_K_M 버전은 약 25~30% 더 빠른 속도를 자랑합니다. 이 모델은 교정된 확률(calibrated probabilities)을 제공하며, 옵션 순서 변경에도 96~97%의 답변이 일관성을 유지하는 등 견고한 성능을 보여줍니다. 또한, 상태 캐싱(state caching) 기능을 통해 동일한 상태에 대한 반복 질문 시 추가 비용 없이 빠르게 응답하며, 최대 255개 옵션 중 선택하는 기능과 '해당 없음' 가능성을 제시하는 거부 확률(reject probability)도 포함하고 있습니다.
Gutsy의 등장은 클라우드 기반의 대규모 언어모델(LLM) 사용에 부담을 느끼거나, 민감한 데이터를 다루는 기업들에게 중요한 대안이 될 수 있습니다. 네트워크 호출이나 건당 비용 없이 온프레미스(on-premise) 환경에서 AI 기반 의사결정 시스템을 구축할 수 있게 함으로써, 비용 절감과 데이터 보안이라는 두 마리 토끼를 잡을 수 있습니다. 특히 고객 지원, 내부 정책 준수 확인, 복잡한 데이터 분류 등 다양한 업무 자동화에 활용될 잠재력이 큽니다. 이러한 로컬 AI 모델의 발전은 AI 기술의 접근성을 높이고, 더 많은 기업과 개발자가 혁신적인 애플리케이션을 만들 수 있는 기회를 제공할 것으로 기대됩니다.