클라우드 의존도를 낮추고 로컬 환경에서 직접 학습 및 실행할 수 있는 경량 의사결정 모델 '제프(Jeff)'가 등장했습니다. 이 모델은 자연어로 상황과 선택지를 입력받아 문장 생성 없이 각 선택지의 확률을 반환하며, 고객 문의 분류, 사용자 의도 파악, 음성 명령 처리 등 다양한 분야에 활용될 수 있습니다. 특히 0.8B(8억) 파라미터 모델은 M4 Max에서 28ms, RTX PRO 6000에서 22ms의 빠른 응답 속도를 보여, 실시간 의사결정이 필요한 애플리케이션에 적합합니다.
제프는 Qwen3.5와 Gemma 4를 미세조정하여 개발되었으며, 학습 및 합성 데이터 생성, 테스트 등 모든 과정이 로컬 장비에서 이루어졌습니다. 클라우드 GPU나 폐쇄형 모델의 출력을 학습에 사용하지 않아 데이터 주권을 확보하고 비용을 절감할 수 있다는 점이 특징입니다. 0.8B 모델 학습에는 GPU 한 장으로 약 2시간이 소요되며, 용도에 맞게 추가 학습(fine-tuning)이 가능합니다. 실제로 음성 내비게이션 실험에서는 약 30분의 미세조정만으로 학습에 사용되지 않은 명령의 정확도가 31.7%에서 95.8%로 크게 향상된 바 있습니다. 제프는 Jev와 유사한 요청 형식을 지원하며, 'choice', 'noul', 'score' 세 가지 질문 유형을 통해 다양한 의사결정 시나리오에 대응할 수 있습니다.
제프의 등장은 대규모 언어모델(LLM)에 대한 의존도를 줄이고, 특정 목적에 최적화된 소형 모델의 가능성을 보여줍니다. 특히 복잡한 추론보다는 주어진 선택지 중 빠르게 최적의 결정을 내려야 하는 작업에 강점을 보이며, 코드와 모델 가중치가 모두 공개되어 개발자들이 자체적으로 실행하고 미세조정할 수 있습니다. 이는 비용 효율적인 AI 개발 환경을 제공할 뿐만 아니라, 민감한 데이터를 외부 클라우드에 노출하지 않고도 AI를 활용할 수 있게 하여 데이터 보안에 대한 우려를 해소하는 데 기여할 것입니다. 게임 플레이와 같은 제로샷(zero-shot) 선택 능력 실험에서도 0.8B 모델이 규칙 기반 봇과 유사한 성능을 기록하며, 실용적인 활용 가능성을 입증했습니다.