인공지능(AI)이 스스로 더 나은 AI를 만들어내는 '재귀적 자기개선(RSI: Recursive Self-Improvement)'의 시대가 얼마나 가까워졌는지에 대한 논의가 뜨겁습니다. 이는 AI가 단순히 주어진 목표를 최적화하는 것을 넘어, 새로운 연구 방향과 다음 목표까지 스스로 설정하며 발전하는 순환을 의미합니다. 전문가들은 현재의 모델과 강화학습(RL: Reinforcement Learning)을 확장하면 인간 연구자를 뛰어넘을 수 있다는 기대와 함께, 새로운 연구 목표를 발견하는 능력은 별개의 문제라는 반론이 팽팽히 맞서고 있습니다.
존 슐먼(John Schulman)과 찰리 오닐(Charlie O’Neill) 같은 AI 분야의 주요 인사들은 AI 연구 생산성이 10배 높아질 시점을 각각 2년, 5~10년으로 예상합니다. 이들은 실험 자동화를 넘어 연구 판단까지 AI에 맡길 수 있는지 여부가 핵심이라고 강조합니다. 특히, AI가 벤치마크와 훈련 환경에서는 뛰어나지만 현실 전이, 메타학습의 일반화, 지속 학습에서 어려움을 겪을 수 있다는 지적도 나옵니다. 또한, 현재의 트랜스포머(Transformer)와 강화학습 조합이 칩 위에서 구현 가능한 최적의 학습기와 얼마나 떨어져 있는지가 중요하며, 인간보다 0.1%만 더 나은 AI 연구 에이전트라도 수십만 개를 병렬 실행하면 급속한 도약이 가능할 수 있다는 낙관론도 존재합니다.
하지만 목표를 최적화하는 능력과 새로운 목표를 발견하는 능력은 별개라는 의견도 있습니다. 예를 들어, 다음 토큰 예측(next token prediction)과 같은 명확한 목표는 AI가 잘 최적화할 수 있지만, 새로운 패러다임의 연구 목표를 스스로 발명할 수 있을지는 불확실하다는 것입니다. 인간 연구자에게 가장 오래 남을 역할은 '우리가 무엇을 원하는지'를 정의하는 일이 될 것이며, AI 어시스턴트의 행동, 유용함의 의미, 강화학습 인간 피드백(RLHF) 목표 등을 설정하는 '정렬(alignment)' 작업은 여전히 인간의 몫으로 남을 것으로 예상됩니다.
한편, '증류(distillation)' 기술은 모델 공급업체의 집중을 억제하는 주요 요인으로 분석됩니다. 강화학습으로 학습된 행동은 필요한 정보량이 적어, 해당 행동의 실행 추적을 얻으면 비교적 적은 데이터로 복제할 수 있기 때문입니다. 이는 후발 업체들이 선도 연구소의 모델을 빠르게 추격할 수 있는 가능성을 열어줍니다. 다만, 실제 사용자 프롬프트 분포의 중요성과 교사 모델과 학생 모델 간의 역량 격차가 너무 클 경우 비효율적인 모방이 발생할 수 있다는 점은 여전히 해결해야 할 과제입니다.
궁극적으로 AI 연구자를 훈련하는 환경은 인간 피드백과 다단계 연구 프로젝트 연습 환경을 결합하는 방식으로 발전할 것으로 보입니다. AI가 스스로 연구하며 반복적인 약점을 찾고, 다음 훈련에서 피드백이나 환경을 추가하는 순환이 이어질 것입니다. 그러나 이 순환이 인간과 AI 연구 성과를 따라잡는 데 머물러 점진적으로 느려질 수 있다는 우려도 있습니다. 그럼에도 불구하고, 환경 기반 최적화는 인간 능력을 넘어설 수 있는 잠재력을 가지고 있으며, 인간이 아직 달성하지 못한 검증 가능한 목표를 AI가 설정하고 해결할 수 있다는 반론도 제기됩니다. 이는 AI가 단순한 최적화를 넘어 아이디어와 발견의 영역까지 확장될 수 있음을 시사합니다.