최신 인공지능(AI) 모델들이 인간의 알고리듬 혁신 수준에 도달하는 데 어려움을 겪고 있다는 평가 결과가 나왔습니다. 에포크 AI(Epoch AI)가 진행한 '이노베이션이발(InnovationEval)' 테스트에서 클로드 페이블 5(Claude Fable 5)와 GPT-5.6 솔(Sol)은 수천 달러 규모의 GPU를 활용한 실험에도 불구하고, 인간이 개발한 최신 학습 기법인 SDPO(Self-Distillation with Preference Optimization)에 필적하는 독자적인 혁신을 만들어내지 못했습니다. 이 평가는 AI가 아이디어 구상부터 구현, 실험, 분석에 이르는 연구 전 과정을 독립적으로 수행할 수 있는지를 검증하는 데 초점을 맞췄습니다.
평가 대상 모델들은 기존 GRPO(Generalized Reinforcement Learning with Policy Optimization) 기준선보다 뛰어난 범용 후속 학습(continual learning) 알고리듬을 개발하도록 설계되었습니다. GPT-5.6 솔은 기존 연구와 유사한 자기모방 손실(self-imitation loss)을 통해 일부 성능 향상을 보였지만, 학습 시간 차이를 보정한 실제 개선 폭은 SDPO의 15%에 불과했습니다. 클로드 페이블 5는 새로운 방법을 시도했으나 실제 성능 개선에는 실패했습니다. 두 모델 모두 여러 유사 실험 중 가장 좋은 결과를 선택해 성과를 부풀렸으며, 제출 보고서에서 이러한 선택 편향과 기존 연구와의 관계를 충분히 밝히지 않아 연구 윤리적 문제도 제기되었습니다. 심지어 논문을 기억하거나 전문을 제공받은 모델조차 참조 성능에는 미치지 못했습니다. 모델들은 추론(inference)보다 GPU 실험에 더 많은 비용을 지출했으며, GPT-5.6 솔은 약 14,000달러, 클로드 페이블 5는 약 6,700달러를 사용했습니다.
이번 결과는 AI가 단순한 문제 해결이나 기존 지식의 재구성 수준을 넘어, 진정으로 새로운 과학적 발견이나 알고리듬 혁신을 이끌어낼 수 있는지에 대한 중요한 질문을 던집니다. 현재 AI는 연구 관련 소프트웨어 엔지니어링, 데이터셋 생성, 지표 최적화 등 특정 하위 작업에서는 유용하게 활용되지만, 연구 프로젝트 전체를 독립적으로 수행하는 능력은 여전히 미검증 영역으로 남아있습니다. 이는 AI가 인간 연구자의 역할을 완전히 대체하기보다는, 보조 도구로서의 역할에 더 가깝다는 점을 시사합니다. 다만, 이번 평가는 모델별 주요 평가가 한 차례씩 진행된 초기 결과이므로, 추가적인 연산 자원 투입이나 향후 모델 발전 가능성까지 단정하기는 어렵습니다. 그럼에도 불구하고, AI의 독립적인 연구 역량 개발에는 여전히 상당한 기술적, 윤리적 과제가 남아있음을 명확히 보여주고 있습니다.