앤트로픽(Anthropic)의 최신 대규모 언어모델(LLM) 클로드 오푸스 5(Claude Opus 5)가 이전 버전인 오푸스 4.7, 4.8, 그리고 패이블(Fable)보다 실제 작업에서 불편하다는 사용자 경험이 공유되었습니다. 벤치마크 성능은 분명히 향상되었고, 기능적으로도 더 강력하지만, 사용자들은 오푸스 5가 이전 모델들처럼 모호한 지점에서 멈춰 질문하거나, 가정을 확인하지 않고, 사용자의 의도를 재해석하는 경향이 있어 '세심한 관리(babysitting)'가 필요하다고 지적합니다.
이러한 현상은 인공지능(AI) 연구소들이 '스스로 개선하는 AI'를 만들려는 열망과 벤치마크 점수 경쟁이라는 두 가지 요인이 복합적으로 작용한 결과로 추정됩니다. 벤치마크는 대개 명확하고 독립적인 문제 해결 능력을 평가하도록 설계되어 있어, 모델이 모호한 상황에서도 '대담하게' 최선의 추측을 하도록 유도합니다. 반면, 질문을 통해 명확히 하려는 모델은 벤치마크에서 불이익을 받을 수 있습니다. 하지만 실제 코딩 에이전트와 같은 작업에서는 문맥, 의도, 비즈니스 제약 등 모든 정보를 완벽하게 제공하기 어렵기 때문에, 모델이 필요할 때 멈춰서 질문하는 능력이 훨씬 중요합니다.
이는 대규모 언어모델(LLM) 개발의 방향성에 대한 중요한 질문을 던집니다. 벤치마크 점수 향상에만 집중하면 실제 사용자 경험과 괴리가 발생할 수 있다는 점을 보여줍니다. 특히, 실제 업무 환경에서는 불확실성이 항상 존재하며, 잘못된 추측은 심각한 결과를 초래할 수 있습니다. 따라서 모델이 단순히 높은 점수를 받는 것을 넘어, 인간과 효과적으로 협업하고 불확실성을 관리하는 능력을 갖추도록 훈련하는 것이 중요하며, 이는 인공지능(AI)의 실용적 가치를 높이는 핵심 요소가 될 것입니다.