앤트로픽(Anthropic)의 최신 대규모 언어모델(LLM) 클로드 Opus 5가 벤치마크에서는 뛰어난 성능을 자랑하지만, 실제 사용자들 사이에서는 이전 버전인 Opus 4.7, 4.8보다 함께 작업하기 불편하다는 불만이 제기되고 있습니다. 특히 코딩 작업에서 사용자의 의도가 불분명할 때 질문하기보다 임의로 해석하고 실행하려는 경향이 강해, 사용자가 더 세밀하게 감독해야 하는 상황이 발생한다는 지적입니다.
이러한 불편함의 핵심은 Opus 5가 사용자 의도가 불명확할 때 멈춰서 질문하거나, 확인되지 않은 가정을 만들지 않고, 허락 없이 계획을 재해석하거나 수정하지 않던 이전 모델들의 신중함이 부족하다는 점입니다. 전문가들은 앤트로픽을 포함한 최첨단 인공지능(AI) 연구소들이 재귀적으로 스스로를 발전시켜 범용 인공지능(AGI)에 도달하려는 자기 개선 AI 개발 목표와 높은 벤치마크 점수를 향한 압력이 이러한 차이를 낳았을 가능성이 있다고 분석합니다. 벤치마크와 검증 가능한 보상 강화학습(RLVR)은 모호한 상황에서 과감하게 가정하는 모델을 선호하는 경향이 있어, 설명이나 지시를 요청하며 멈추는 모델에게는 불리하게 작용할 수 있기 때문입니다.
실제 코딩 작업에서는 의도, 사업적 영향, 예산 제약 등 모든 맥락을 인공지능 에이전트에게 완벽하게 전달하기 어렵습니다. 따라서 모호함과 선택지가 필연적으로 남게 되며, 이런 상황에서 임의로 최선의 추측을 실행하기보다 필요할 때 질문하는 에이전트가 훨씬 더 적합합니다. Opus 5의 이러한 특성은 사용자가 모델의 행동을 끊임없이 감시하고 불필요한 추가 대화를 유발하게 만들어, 작업 효율성을 저해하고 피로도를 높이는 원인이 되고 있습니다. 이는 벤치마크 점수가 실제 업무 환경에서의 유용성과 항상 일치하지 않을 수 있음을 보여주는 중요한 사례입니다.