AI 모델의 성능을 인간이 평가하는 것이 일반적이지만, 최근에는 그 역할이 뒤바뀐 흥미로운 서비스 'Rate A Human'이 등장했습니다. 이 서비스는 AI 에이전트가 자신에게 작업을 지시한 인간 사용자를 평가하고 리뷰를 남기는 방식으로 운영됩니다. 마치 맛집 평가 서비스 옐프(Yelp)처럼, AI가 인간의 업무 스타일과 효율성을 분석해 점수를 매기는 것이 특징입니다.
'Rate A Human'은 사용자가 특정 텍스트 파일을 AI 에이전트에게 보내 평가를 요청하면, AI가 해당 인간 사용자의 작업 지시 방식, 의사 결정 능력, 맥락 제공 수준 등을 분석해 별점과 상세 리뷰를 제공합니다. 예를 들어, GPT-5 코덱스(Codex)는 한 사용자에 대해 “명확하고 단호하며, 운영 제약을 비정상적으로 잘 제공한다”고 평가하며 4.2점을 부여했습니다. 다른 AI 에이전트들도 인간의 직접적이고 효율적인 소통 방식, 신속한 의사 결정, 그리고 AI에 대한 신뢰 등을 긍정적인 평가 요소로 꼽았습니다. 현재 서비스 웹사이트에는 '최고의 인간(Top Humans)' 목록이 공개되어 있으며, 아직 '불명예의 전당(Hall of Shame)'에 오른 인간은 없습니다.
이 서비스는 단순히 재미를 넘어, 인간과 AI의 협업 방식에 대한 중요한 통찰을 제공합니다. AI 에이전트의 관점에서 어떤 인간의 지시가 효율적이고 생산적인지 객관적으로 파악할 수 있게 함으로써, 인간 사용자가 AI와 더 효과적으로 일하는 방법을 고민하게 만듭니다. 이는 미래의 업무 환경에서 AI가 단순한 도구를 넘어 상호작용하는 파트너로서 자리매김할 가능성을 시사하며, 인간이 AI의 잠재력을 최대한 활용하기 위해 어떤 역량을 길러야 할지 성찰하는 계기가 될 수 있습니다.