AI 에이전트 개발 스타트업 플로이(Ploy)가 자사의 프로덕션 마케팅 웹사이트 구축 에이전트를 앤트로픽(Anthropic)의 클로드 오푸스(Claude Opus) 4.8에서 오픈AI(OpenAI)의 GPT-5.6 솔(Sol)로 성공적으로 전환했습니다. 이로 인해 에이전트의 평균 실행 시간은 8분에서 3분 42초로 2.2배 빨라졌고, 비용은 27% 절감되는 놀라운 성과를 거두었습니다. 시각 점수 또한 0.936에서 0.970으로 향상되어 전반적인 품질이 높아졌습니다.
플로이는 이번 전환 과정에서 단순히 모델만 교체한 것이 아니라, 기존 모델에 맞춰져 있던 평가 하네스(evaluation harness), 도구 스키마(tool schema), 프롬프트 캐싱(prompt caching), 추론 재생(inference replay) 방식 등 스택 전반의 설정을 GPT-5.6에 최적화하는 작업을 병행했습니다. 예를 들어, GPT-5.6이 도구 호출 시 25개의 선택적 매개변수를 임의의 값으로 채우는 문제를 해결하기 위해 스키마를 필수/널러블(nullable) 속성으로 변경하여 빈 파일 읽기 오류를 0%로 줄이고 도구 호출 횟수를 약 30% 감소시켰습니다. 또한, 오픈AI와 앤트로픽의 캐시 구조 차이를 반영하여 워크스페이스 단위 캐시 키와 계층별 브레이크포인트(breakpoint)를 적용, 첫 호출 캐시 적중률을 0%에서 83.7%로 끌어올려 미캐시 입력 토큰을 28% 줄였습니다.
이번 사례는 대규모 언어모델(LLM) 기반 AI 에이전트의 성능과 비용 효율이 단순히 모델 자체의 역량뿐 아니라, 이를 둘러싼 시스템 최적화에 크게 좌우된다는 점을 명확히 보여줍니다. 특히, 프로바이더(provider)별로 다른 모델 동작 방식과 캐싱 구조를 이해하고 이에 맞춰 시스템을 재설계하는 것이 중요하다는 교훈을 줍니다. AI 에이전트가 복잡한 작업을 자율적으로 수행하는 시대가 도래하면서, 이처럼 세밀한 최적화는 실제 프로덕션 환경에서 에이전트의 안정성과 확장성을 확보하는 핵심 요소가 될 것입니다. 이는 AI 에이전트를 활용하려는 기업들에게 모델 선택만큼이나 시스템 전반의 미세조정(fine-tuning)이 중요함을 시사합니다.