대규모 언어모델(LLM)을 활용하는 개발자들이 API 호출 후 예상치 못한 비용에 직면하는 문제를 해결하기 위해, 사전 토큰 및 비용 예측 도구인 '슬래시 토큰(slash-tokens)'이 공개되었습니다. 이 도구는 단 4.8KB 크기의 웹어셈블리(WASM) 모듈로, LLM API 요청이 사용자의 시스템을 떠나기 전에 토큰 사용량을 빠르고 정확하게 추정하여 불필요한 비용 지출을 막아줍니다.
슬래시 토큰은 앤트로픽(Anthropic), 오픈AI(OpenAI), xAI, 구글(Google) 등 주요 LLM 제공업체의 엔드포인트를 가로채어 작동합니다. 개발자는 'auto' 모드를 통해 모든 LLM 호출을 자동으로 사전 검사하거나, 'preflight' 및 'preflightRoute' 함수를 사용하여 특정 프롬프트의 토큰 수, 예상 비용, 컨텍스트 창 적합성, 그리고 더 저렴한 대안 모델까지 확인할 수 있습니다. 특히, 'preflightRoute'는 동일 제공업체 내에서 가장 비용 효율적인 모델을 추천하여 개발자가 합리적인 선택을 할 수 있도록 돕습니다. 이 모든 과정은 밀리초 단위로 비동기적으로(non-blocking) 처리되어 개발 워크플로우에 지장을 주지 않습니다.
이 도구는 단순히 문자열 길이를 기반으로 토큰을 추정하는 것이 아니라, 실제 제공업체의 토크나이저(tokenizer)에 맞춰 정밀하게 보정된 엔진을 사용합니다. 이를 통해 CJK(중국어, 일본어, 한국어) 문자, 이모지 등 복잡한 입력에 대해서도 높은 정확도를 제공합니다. 또한, 노드(Node.js), 번(Bun), 디노(Deno) 등 다양한 런타임 환경과 클라우드플레어 워커스(Cloudflare Workers), 베르셀 엣지(Vercel Edge)와 같은 엣지 환경에서도 작동하여 개발 유연성을 높였습니다. 슬래시 토큰은 LLM 사용 비용을 투명하게 관리하고 최적화하려는 모든 개발자에게 필수적인 도구가 될 것으로 보입니다.