최근 오픈소스 프로젝트 관리자들(메인테이너)은 인공지능(AI)이 생성한 저품질의 풀 리퀘스트(PR)와 이슈로 인해 골머리를 앓고 있습니다. 겉보기에는 그럴듯하지만 실제로는 가치가 없는 기여들이 쏟아지면서, 일일이 검토하는 데 막대한 시간이 소요되고 중요한 기여를 놓치거나 신규 기여자를 오해할 위험도 커지고 있습니다.
이러한 문제를 해결하기 위해 등장한 'SlopGuard'는 GitHub 앱 형태로 제공되며, 한 번의 클릭으로 쉽게 설치할 수 있습니다. SlopGuard는 들어오는 PR과 이슈를 0점에서 100점까지 점수화하고, AI 생성 여부를 나타내는 특징을 태그로 표시합니다. 설정된 임계값을 넘어서면 해당 PR/이슈에 'slop-quarantine' 라벨을 붙이고 근거 코멘트를 자동으로 추가하여 격리합니다. 중요한 점은 SlopGuard가 PR이나 이슈를 자동으로 닫지 않는다는 것입니다. 최종적인 승인 또는 거부 결정은 메인테이너가 '/slop approve' 또는 '/slop reject'와 같은 코멘트를 통해 직접 내리도록 하여 오탐(false positive)으로 인한 피해를 최소화합니다.
SlopGuard는 무료 호스팅 티어에서 휴리스틱(heuristic) 기반의 평가 방식을 제공하며, 공개된 평가셋에서 100%의 정밀도(precision)와 92%의 재현율(recall)을 보였습니다. 이는 대규모 언어모델(LLM) 키 없이도 높은 정확도로 저품질 기여를 걸러낼 수 있음을 의미합니다. 유료 티어에서는 LLM 판정을 추가하여 더욱 미묘하고 복잡한 케이스까지 정밀하게 탐지할 수 있습니다. 또한, SlopGuard는 MIT 라이선스와 Commons Clause를 통해 소스를 공개하고 있어, 사용자가 직접 코드를 확인하고 필요에 따라 셀프 호스팅하여 사용할 수도 있습니다. 이처럼 SlopGuard는 오픈소스 생태계에서 AI의 등장으로 발생한 새로운 관리 과제를 해결하며, 메인테이너들이 본질적인 개발 작업에 집중할 수 있도록 돕는 실용적인 도구로 자리매김할 것으로 기대됩니다.