뉴로메트릭(Neurometric)이 에이전트(agent)의 핵심 기능인 도구 호출(tool calling)에 특화된 소형 언어모델(SLM)을 선보였습니다. 이 모델은 사용자의 의도를 정확한 API 호출(schema-bound tool calls)로 변환하는 단 하나의 작업에 집중하여, 기존 대규모 언어모델(LLM)이 수행하던 이 작업을 훨씬 저렴하고 빠르게 처리할 수 있도록 돕습니다. 이는 에이전트 개발 비용의 상당 부분을 차지하는 도구 호출 관련 지출을 획기적으로 줄일 수 있는 방안으로 주목받고 있습니다.
이 특화된 SLM은 밀리언(million) 입력 토큰당 0.01달러, 출력 토큰당 0.10달러의 매우 저렴한 가격으로 제공됩니다. 뉴로메트릭에 따르면, 대부분의 에이전트 운영 비용 중 80~90%는 도구 정의, 과거 도구 출력, 환경 상태 등 컨텍스트(context)를 매번 재전송하는 데서 발생합니다. 도구 선택 작업을 이 소형 모델로 전환하면 턴(turn)당 비용을 70~90% 절감할 수 있으며, 이는 다단계 에이전트에서 반복될수록 더욱 큰 비용 절감 효과를 가져옵니다. 또한, 작은 모델은 첫 토큰 생성 시간(time to first token)이 짧고 처리량(throughput)이 높아 에이전트의 응답 속도를 크게 향상시키며, JSON 스키마(schema) 준수에 특화되어 오류 발생률이 낮아 재시도(retry)로 인한 추가 비용과 지연도 줄일 수 있습니다.
이 모델은 크게 네 가지 방식으로 활용될 수 있습니다. 첫째, 의도 라우터(Intent router)로 파이프라인(pipeline)의 진입점에 배치하여 간단한 요청을 직접 처리하고 API를 호출합니다. 둘째, 플래너/실행자 분리(Planner/executor split) 방식으로, 대규모 모델은 복잡한 문제를 자연어 하위 목표로 분해하는 계획(planning)을 담당하고, 소형 모델은 각 하위 목표를 유효한 인수로 변환하여 도구를 호출하는 실행(binding)을 맡습니다. 셋째, 구조화된 출력 컴파일러(Structured output compiler)로, 대규모 모델이 가벼운 텍스트로 결정을 내리면 소형 모델이 이를 스키마에 맞는 매개변수로 변환합니다. 마지막으로, 추측성 도구 생성(Speculative tool generation)을 통해 주 모델이 전략을 세우는 동안 소형 모델이 병렬로 잠재적 도구 호출을 예측하여 응답 지연을 최소화할 수 있습니다. 이러한 전문화된 접근 방식은 에이전트 시스템의 경제성과 성능을 동시에 개선하는 중요한 의미를 가집니다.