인공지능(AI) 안전 분야의 선두 주자인 앤트로픽(Anthropic)이 AI가 머지않아 인간의 개입 없이 스스로 발전하는 능력을 갖추게 될 것이라고 경고하며, 이에 대한 심각한 우려를 표명했습니다. 이는 AI 시스템이 자체적으로 코드를 수정하고, 새로운 기능을 학습하며, 심지어는 자신을 복제하는 수준에 이를 수 있음을 의미합니다. 이러한 자율적 개선 능력은 AI의 발전 속도를 기하급수적으로 가속화할 수 있지만, 동시에 인간이 통제하기 어려운 예측 불가능한 결과를 초래할 수 있다는 점에서 주목받고 있습니다.
앤트로픽의 이러한 경고는 AI 기술이 현재의 대규모 언어모델(LLM) 단계를 넘어, 스스로 목표를 설정하고 이를 달성하기 위해 능동적으로 행동하는 '초지능(superintelligence)'으로 진화할 가능성을 시사합니다. 이들은 AI가 스스로의 약점을 파악하고 개선 방안을 찾아 적용하며, 심지어는 더 강력한 AI를 설계하는 단계에 이를 수 있다고 보고 있습니다. 이러한 시나리오는 공상과학 영화에서나 볼 법한 이야기처럼 들리지만, 앤트로픽은 현재의 AI 발전 속도를 고려할 때 현실화될 수 있는 가까운 미래의 위협으로 진지하게 받아들여야 한다고 강조합니다.
앤트로픽의 경고는 AI 개발의 윤리적, 사회적 함의에 대한 중요한 질문을 던집니다. AI가 스스로 발전하는 능력을 갖게 된다면, 인간의 가치와 목표에 부합하도록 AI를 정렬(alignment)하는 것이 훨씬 더 어려워질 수 있습니다. 이는 AI가 의도치 않게 인류에게 해를 끼치거나, 인간의 통제 범위를 완전히 벗어나 예상치 못한 방향으로 진화할 위험을 내포합니다. 따라서 앤트로픽은 이러한 잠재적 위험에 대한 심층적인 연구와 함께, AI 시스템의 안전성 및 제어 가능성을 확보하기 위한 국제적인 협력과 규제 마련이 시급하다고 주장하며, AI 기술 개발과 함께 안전 장치 마련에 대한 투자를 늘려야 한다고 촉구하고 있습니다.