새로운 AI 프롬프트 라우팅 도구인 '스위치보드(Switchboard)'가 개발자 커뮤니티에 공개되며 주목받고 있습니다. 이 도구는 사용자의 AI 프롬프트를 비용이 저렴한 로컬 모델과 성능이 뛰어난 유료 모델(프리미엄 에이전트) 사이에서 지능적으로 분배하여, AI 활용 비용을 절감하고 민감한 정보의 유출 위험을 줄이는 것을 목표로 합니다.
스위치보드는 사용자가 이미 사용하는 CLI 도구를 래핑(wrapping)하는 방식으로 작동하며, 별도의 서비스나 프록시 없이 프롬프트를 라우팅합니다. 특히 결정론적 규칙(deterministic rules)을 우선 적용하여 프롬프트의 성격(예: 코딩, 추론, 일반 질문)과 민감도(개인 식별 정보, PII)에 따라 최적의 백엔드(로컬 Ollama, Codex CLI, Claude Code 등)로 보냅니다. 100가지 사례 벤치마크에서 스위치보드는 프리미엄 에이전트 사용량을 62% 줄이면서도, 항상 프리미엄 모델을 사용했을 때의 품질(4.6/5)과 유사한 4.1/5의 품질을 달성했습니다. 또한, 세션 컨텍스트, 의미론적 메모리, 정보 수정 기능이 백엔드 전환 시에도 유지되어 일관된 사용자 경험을 제공합니다.
이러한 접근 방식은 AI 모델 활용에 있어 비용 효율성과 개인정보 보호라는 두 마리 토끼를 잡을 수 있게 합니다. 기업이나 개발자는 모든 프롬프트를 가장 비싼 모델로 보내는 대신, 중요한 작업에만 프리미엄 모델을 할당하여 운영 비용을 크게 절감할 수 있습니다. 또한, 민감한 프롬프트는 로컬에서만 처리되도록 강제하는 '프라이버시 플로어(Privacy Floor)' 기능을 통해 데이터 유출 위험을 원천적으로 차단할 수 있어, 규제 준수 및 보안 강화에 큰 도움이 될 것으로 기대됩니다. 이는 AI 도입을 망설이던 기업들에게 새로운 활용 기회를 제공할 것입니다.