최근 아카이브(arXiv)에 발표된 연구에 따르면, AI 기반 코드 리뷰가 개발 프로세스에 도입되면서 리뷰 결정 속도는 빨라질 수 있지만, 이것이 반드시 더 나은 리뷰 품질을 의미하지는 않는 것으로 나타났습니다. 207개 GitHub 오픈소스 프로젝트의 102만 개 PR(Pull Request) 데이터를 분석한 결과, AI 리뷰어의 도입 방식과 참여 순서에 따라 리뷰 속도와 품질 지표에 유의미한 차이가 발생했습니다.
연구는 코드 리뷰의 역사를 인간 중심, LLM(대규모 언어 모델) 보조, AI 에이전트 참여의 세 시기로 나누어 분석했습니다. AI 리뷰어를 점진적으로 도입하거나 에이전트 단계에서 빠르게 도입한 프로젝트는 인간 중심 시기보다 리뷰 시간이 유의미하게 감소했습니다. 특히 에이전트가 먼저 변경 내용을 검사하고 요약한 뒤 사람이 짧게 판단하는 협업 패턴에서 빠른 결론 도달이 관찰되었습니다. 이는 에이전트가 초기 검토 부담을 줄여주기 때문으로 해석됩니다. 그러나 초기부터 LLM 리뷰어에 크게 의존한 프로젝트에서는 속도 개선이 미미했으며, 오히려 같은 리뷰어를 반복 배정하는 '리뷰 버디(Review Buddies)'와 같은 안티패턴 비율이 증가했습니다.
흥미롭게도, AI가 참여한 리뷰는 사람만 참여한 리뷰보다 리뷰 안티패턴 비율이 대체로 높았습니다. 특히 동일한 AI 리뷰어를 모든 PR에 반복적으로 배정하는 경향이 두드러져, 리뷰 관점의 다양성이 줄어들고 특정 관점에 고정되는 결과를 초래했습니다. 연구진은 AI 리뷰어를 모든 PR에 일괄 적용하기보다 변경 종류, 크기, 작성자 경험, 기존 논의와 위험도에 따라 선택적으로 배치하고, 기존 인간 리뷰 관행과 결합해야 한다고 제언합니다. 예를 들어, 단순 유지보수는 LLM 요약이나 자동 검사를 활용하고, 저장소 탐색이 필요한 복잡한 변경은 에이전트 검사를, 크고 위험한 변경은 인간 주도 리뷰를 유지하는 방식입니다. 이는 AI 리뷰 도구의 성능을 단순히 결함 탐지율로만 평가할 것이 아니라, 다양한 맥락적 요소를 함께 고려해야 함을 시사합니다.