온디바이스 인공지능(AI) 모델은 빠른 처리 속도와 뛰어난 프라이버시 보호라는 장점에도 불구하고, 때로는 부정확한 답변을 내놓는다는 한계가 있었습니다. 반면, 대규모 클라우드 기반 모델은 정확하지만 비용이 빠르게 증가하는 문제가 있습니다. 이러한 딜레마를 해결하기 위해 스타트업 캑터스(Cactus)가 구글의 소형 모델인 제마 4(Gemma 4)를 기반으로, 모델 스스로 답변의 정확도를 판단하는 '하이브리드' 접근법을 개발했습니다.
캑터스는 제마 4 E2B 모델을 추가 학습(post-train)시켜 모든 답변에 0에서 1 사이의 확신도(confidence score)를 부여하도록 만들었습니다. 개발자는 이 점수를 활용해 확신도가 높을 때는 온디바이스 모델의 답변을 그대로 사용하고, 확신도가 낮을 때는 더 크고 정확한 클라우드 모델(예: 제미니 3.1 플래시-라이트)로 질의를 넘겨 처리할 수 있습니다. 이 방식을 통해 캑터스의 제마 4 하이브리드 모델은 전체 질의의 15~35%만을 클라우드 모델로 라우팅하면서도, 대부분의 벤치마크에서 제미니 3.1 플래시-라이트(Gemini 3.1 Flash-Lite)와 동등한 성능을 보였습니다. 예를 들어, 차트QA(ChartQA)에서는 15~20%, 리브리스피치(LibriSpeech)에서는 25~30%의 질의만 전환해도 충분했습니다.
이 기술의 핵심은 모델이 다양한 양식(modality)의 데이터에 대해 확신도를 정확히 예측할 수 있다는 점입니다. 캑터스는 오디오 데이터를 전혀 학습시키지 않았음에도 불구하고, 오디오 벤치마크에서 0.79~0.88에 이르는 높은 AUROC(Area Under the Receiver Operating Characteristic curve) 점수를 기록했습니다. 이는 모델이 단순히 학습 데이터 패턴을 기억하는 것이 아니라, 숨겨진 상태(hidden state)에서 모달리티에 독립적인 '정확성 신호'를 읽어낼 수 있음을 시사합니다. 이러한 하이브리드 접근법은 온디바이스 AI의 활용 범위를 크게 넓히면서도, 클라우드 AI 사용 비용을 절감할 수 있는 실용적인 해결책을 제시합니다. 개발자들은 이제 속도와 프라이버시, 그리고 정확도 사이에서 더 나은 균형점을 찾을 수 있게 될 것입니다.