최근 코딩 에이전트(coding agent)를 활용하는 개발자들이 늘면서, 대규모 언어모델(LLM) API 사용료와 에이전트의 비효율적인 작동 방식에 대한 불만이 커지고 있습니다. 특히 불필요한 정보 전송으로 인해 토큰 비용이 급증하고, 컨텍스트 창(context window)이 빠르게 차면서 에이전트의 '지능'이 저하되는 문제가 발생했습니다. 이러한 문제에 대한 해결책으로, 에이전트와 LLM 사이에 위치하여 요청을 최적화하는 '파리톡(Paritok)'이라는 새로운 비파괴 압축 게이트웨이가 공개되어 주목받고 있습니다.
파리톡은 코딩 에이전트의 토큰 비용을 절감하고 효율성을 높이기 위해 세 가지 핵심 메커니즘을 사용합니다. 첫째, '도구 스키마 필터(tool-schema filter)'는 에이전트가 LLM에 보내는 수십 개의 도구 스키마 중 현재 작업에 필요한 것만 남기고 나머지는 필터링합니다. 이 필터링은 임베딩(embedding) 기반 소형 모델을 로컬에서 실행하여 이루어지며, 단일 턴(turn)에서 가장 큰 비용 절감 효과를 제공합니다. 둘째, '콘텐츠 압축(content compression)'은 파일 읽기, 도구 실행 결과, 오래된 대화 기록 등을 코딩 에이전트 전용으로 훈련된 4B 압축 모델(Paritok-4B-v1)을 통해 원본 크기의 약 26%까지 줄여줍니다. 이 모델은 함수 시그니처나 오류 문자열 같은 중요한 정보는 보존하면서 불필요한 노이즈를 제거하는 데 특화되어 있습니다. 셋째, '기록 요약(history summarization)'은 컨텍스트 창이 가득 찼을 때 오래된 대화 기록을 요약하여, 장기 세션에서도 에이전트가 컨텍스트 창을 벗어나지 않고 상세 정보를 유지할 수 있도록 돕습니다. 이 모든 과정은 비파괴적으로 이루어져, 필요할 경우 언제든 원본 데이터를 복구할 수 있습니다.
파리톡은 클로드 코드(Claude Code), 커서(Cursor), 코덱스(Codex), 오픈핸즈(OpenHands) 등 BASE_URL을 지원하는 모든 코딩 에이전트와 호환되며, 에이전트 코드를 한 줄도 변경할 필요 없이 프록시(proxy) 형태로 쉽게 적용할 수 있습니다. 이를 통해 개발자들은 입력 토큰 비용을 초기에는 약 25%, 장기 세션에서는 최대 85% 이상 절감할 수 있으며, 동일한 컨텍스트 창에서 약 3배 더 많은 대화를 처리할 수 있게 됩니다. 이는 코딩 에이전트의 장기적인 사용성을 크게 향상시키고, 개발자들이 더 복잡하고 긴 작업을 에이전트와 함께 수행할 수 있는 기반을 마련해 줄 것으로 기대됩니다.