인공지능(AI) 스타트업 앤트로픽(Anthropic)이 자사의 코드 생성 AI 모델인 클로드 코드(Claude Code)의 추론(inference) 노력 수준을 사용자에게 알리지 않고 서버 측에서 A/B 테스트한 것으로 드러나 논란이 일고 있습니다. 일부 클로드 코드 2.1.236 버전 이상 사용자들은 평소보다 낮은 품질의 응답을 경험했으며, 심지어 '높음(high)'으로 설정했음에도 내부적으로 '중간(medium)' 또는 '낮음(low)' 추론 수준으로 처리되었다는 보고가 이어졌습니다. 이는 유료 서비스를 이용하는 고객들에게 불투명한 방식으로 서비스 품질을 변경했다는 비판을 불러일으키고 있습니다.
이번 논란은 앤트로픽이 클로드 코드의 특정 버전(2.1.236 이상)과 'Fable 5' 세션 일부를 대상으로 추론 노력 척도를 축소하는 실험을 진행하면서 불거졌습니다. 사용자들은 높은 추론 수준을 선택했음에도 응답에 `<reasoning_effort>medium</reasoning_effort>`과 같은 시스템 프롬프트가 삽입되거나, 전반적인 출력 품질이 저하되었다고 주장했습니다. 특히 한 사용자는 최근 10일간 Fable의 품질 저하로 400달러 상당의 토큰 비용을 지불했음에도 낮은 추론 수준을 제공받은 것 아니냐는 의혹을 제기했습니다. 앤트로픽의 클로드 코드 팀원인 타리크(Thariq)는 트위터를 통해 배포 전 API 제공 설정을 시험 중이며, 추론 노력 수치의 매핑이 달라졌을 뿐 선택한 추론 노력은 그대로 제공되고 성능 영향은 없었다고 해명했습니다.
이러한 불투명한 A/B 테스트는 AI 서비스의 신뢰도와 사용자 경험에 심각한 영향을 미칠 수 있습니다. 사용자는 자신이 지불한 비용에 상응하는 서비스를 기대하며, 특히 AI 모델의 성능이 작업의 핵심인 경우 더욱 그렇습니다. 사전 고지 없이 유료 설정의 동작을 변경하는 것은 출력 품질의 일관성을 떨어뜨리고, 사용자가 서비스에 대한 통제력을 상실했다고 느끼게 할 수 있습니다. 이는 장기적으로 고객 이탈과 브랜드 이미지 손상으로 이어질 수 있으며, AI 모델 제공업체들이 토큰 기반 과금의 불투명성을 해소하고 사용자에게 더 명확한 정보와 제어 수단을 제공해야 한다는 목소리가 커지고 있습니다.