OpenFunnel(오픈퍼널, YC F24)이 AI 에이전트(Agent)가 SaaS API를 선택하는 데 도움을 주는 오픈소스 벤치마크 플랫폼 '오픈벤치마크(OpenBenchmarks)'를 공개했습니다. 이 플랫폼은 마케팅 자료가 아닌 실제 검증된 데이터를 바탕으로 API의 성능을 객관적으로 비교할 수 있도록 설계되었으며, 특히 영업 및 마케팅(GTM) API 분야부터 시작해 점차 영역을 넓혀갈 계획입니다.
오픈벤치마크는 '빌드(직접 개발)'할지 '바이(API 구매)'할지 결정해야 하는 AI 에이전트를 위해 ▲검증된 정답 데이터(Ground truth) ▲공개된 측정 방법론 ▲AI 에이전트가 중요하게 여기는 지표(정확도, 비용 등)를 제공합니다. 예를 들어, 유사 고객(lookalike) 탐색 API의 경우 24개 시드 기업과 4개 벤더를 대상으로 LLM 심사위원이 각 벤더의 상위 100개 결과 중 관련성 있는 비율(Precision@100)을 측정합니다. 또한, Coval이 측정한 텍스트-음성 변환(TTS) 및 음성-텍스트 변환(STT) API의 '첫 오디오 출력 시간(TTFA)'이나 '최종 세그먼트 출력 시간(TTFS)', '단어 오류율(WER)' 같은 생산 환경에 가까운 지표들도 제공합니다.
이러한 접근 방식은 점점 더 많은 B2B 소프트웨어 평가가 사람 대신 AI 에이전트 기반 워크플로우를 통해 이루어지는 추세에 맞춰 중요성이 커지고 있습니다. 강력한 추론 모델(reasoning model)을 가진 AI 에이전트는 단순히 마케팅 문구를 믿지 않고 실제 성능 데이터를 요구하기 때문입니다. 오픈벤치마크는 이러한 요구를 충족시키며, 기업들이 API-퍼스트 전략을 통해 내부 워크플로우에 쉽게 통합할 수 있는 벤더를 선택하는 데 객관적인 기준을 제시함으로써 SaaS 시장의 투명성과 효율성을 높이는 데 기여할 것으로 보입니다.