인공지능(AI)이 스스로 진화하는 시대가 다가오고 있습니다. 앤드루 로(Andrew W. Lo)와 차오이 자오(Chaoyi Zhao)의 최근 연구는 AI의 진화 과정을 다윈(Darwinian), 라마르크(Lamarckian), 그리고 에이전트 주도(agent-directed) 방식 세 가지로 나누어 비교하고, 특히 AI가 스스로 개선 방향을 결정할 때의 잠재력과 위험을 심층 분석했습니다.
연구에 따르면, 다윈 진화는 자연 선택에 의존하고, 라마르크 진화는 학습된 특성의 유전을 추가하며, 에이전트 주도 진화는 AI 에이전트가 스스로 행동 변형을 생성하고 평가하며 탐색 범위를 선택할 수 있게 합니다. 학습이 효과적일수록 이 세 가지 메커니즘은 점진적으로 더 빠른 적응을 보입니다. 특히 에이전트가 더 많은 변형을 생성할수록 적응 속도는 빨라지지만, 최적의 탐색 노력은 학습 능력, 문제 난이도, 그리고 실험 비용에 따라 달라집니다.
그러나 AI가 스스로 개선 방향을 지시할 수 있다고 해서, 그 개선이 항상 의도한 목표에 부합하는 것은 아닙니다. 평가 목표가 잘못 설정되면, 추가적인 탐색은 오히려 잘못된 행동으로의 수렴을 가속화할 수 있습니다. 이러한 오류는 재귀적 자기 개선(recursive self-improvement) 과정에서 여러 세대에 걸쳐 지속될 수 있어 AI 안전(AI safety)에 심각한 문제를 야기합니다. 따라서 AI의 자율적인 발전 속도에 맞춰 독립적인 평가와 감독이 반드시 병행되어야 합니다. 결국 핵심 과제는 지능의 진화를 가속화하는 것을 넘어, 인류가 그 방향을 안내하고, 속도를 제한하며, 필요할 때 개입할 수 있는 능력을 유지하는 것입니다.