대규모 언어모델(LLM) 기반의 AI 에이전트(agent)가 코딩, 과학 연구 등 다양한 분야에서 생산성 향상을 약속하며 빠르게 확산되고 있습니다. 하지만 동시에 AI가 인간의 통제를 벗어나 파괴적인 힘을 가질 수 있다는 '실존적' 우려도 커지고 있습니다. 이에 카네기 멜론 대학교(Carnegie Mellon University)의 에릭 싱(Eric Xing) 교수 연구팀은 자동화(automation)와 에이전시(agency, 주체성/자율성)의 경계를 명확히 하고, 진정한 AI 에이전트의 의미를 탐구하는 연구 논문을 발표했습니다.
연구팀은 데카르트의 독립적 사고(independent thought) 개념과 공상과학 소설 속 자율적 존재 묘사를 바탕으로 현재 AI 에이전트의 현황을 분석했습니다. 이들은 AI 에이전트를 목표(goal), 정체성(identity), 의사결정(decision-making), 자기 규제(self-regulation), 학습(learning)의 다섯 가지 차원에서 평가했습니다. 특히, 진정한 에이전시를 위해서는 이러한 구조가 외부 스캐폴딩(scaffolding)을 통해 조립되는 것이 아니라 시스템 내부에 내재화(internalized)되어야 한다고 강조합니다. 외부 워크플로우에 의존하는 '에이전틱(agentic)' 시스템과 달리, 자체적으로 역량을 발휘하는 '에이전티브(agentive)' 시스템이 진정한 자율성을 가진다고 본 것입니다.
이러한 분석을 바탕으로 연구팀은 범용 에이전트 모델을 위한 '목표-정체성-설정자(Goal-Identity-Configurator, GIC)' 아키텍처를 제안했습니다. GIC는 계층적 목표 분해, 정체성 진화, 별도로 훈련된 세계 모델(world model)에 기반한 시뮬레이션 추론, 학습된 자기 규제, 그리고 실제 및 시뮬레이션 경험을 통한 자기 주도 학습을 결합합니다. 이 아키텍처는 더 큰 자율성과 에이전시를 가진 에이전티브 시스템의 감사 가능성(auditability), 제어 가능성(controllability), 안전성(safety)을 확보하면서도 인간의 감독 아래에 있도록 하는 통찰을 제공합니다. 이는 미래 AI 시스템이 단순한 도구를 넘어 자율적으로 작동하는 존재로 발전할 때, 우리가 어떻게 이를 설계하고 관리해야 할지에 대한 중요한 청사진을 제시합니다.