최근 딥시크 하네스(DeepSeek Harness) 플랫폼을 위한 새로운 플러그인, 'LLM-as-a-Verifier'가 공개되었습니다. 이 플러그인은 대규모 언어모델(LLM)을 검증 도구로 활용하여 AI 에이전트가 생성한 결과물의 품질을 평가하고 점수를 매기는 기능을 제공합니다. 특히 'verify_rollout'이라는 핵심 기능을 통해 여러 독립적인 에이전트 시도를 병렬로 실행하고, 그중 가장 좋은 결과물을 자동으로 선별해 사용자에게 제공함으로써 AI 에이전트의 성능과 신뢰도를 크게 향상시킬 수 있습니다.
이 플러그인은 0에서 1 사이의 점수로 후보 솔루션을 평가하며, 사용자는 에이전트에게 자연어로 지시하여 이 기능을 활용할 수 있습니다. 예를 들어, "LLM을 검증 도구로 사용하여 하이쿠를 작성해 줘" 또는 "이것을 5번 시도하고 가장 좋은 것을 선택해 줘"와 같이 명령할 수 있습니다. 플러그인은 'verify_rollout', 'verify_select', 'verify_compare', 'verify_track'의 네 가지 주요 도구를 제공하며, 이들은 각각 여러 시도 중 최적의 결과 선택, 기존 후보군 중 최적 선택, 두 후보 비교, 단계별 진행 상황 평가 등의 역할을 수행합니다. 특히 'verify_rollout'은 웹 UI에서 시도별 점수판과 우승작 미리보기를 제공하여 시각적인 피드백을 강화합니다. 평가 방식은 1~20점 척도로 여러 기준(사양 준수, 출력 정확성, 오류 없음 등)과 반복 평가를 통해 노이즈를 줄이고, '확률적 피벗 토너먼트(Probabilistic Pivot Tournament)' 방식을 사용하여 여러 후보 중 최적을 효율적으로 선별합니다.
이 LLM 검증 플러그인의 등장은 AI 에이전트 개발 및 운영 방식에 중요한 변화를 가져올 것입니다. 기존에는 에이전트가 생성한 결과물의 품질을 사람이 직접 검토하거나, 복잡한 로직을 통해 평가해야 했지만, 이제는 LLM 자체가 검증 역할을 수행함으로써 개발자는 더 빠르게 고품질의 에이전트를 구축하고 배포할 수 있게 됩니다. 이는 특히 코드 생성, 콘텐츠 작성, 복잡한 문제 해결 등 다양한 분야에서 AI 에이전트의 활용도를 높이고, 반복적인 수작업 검증에 드는 시간과 비용을 절감하는 데 기여할 것입니다. 궁극적으로 AI 에이전트의 자율성과 신뢰성을 높여, 더욱 정교하고 실용적인 AI 애플리케이션의 등장을 가속화할 것으로 예상됩니다.