Sarkar-AGI가 1조 개 이상의 파라미터(매개변수)를 처리할 수 있는 분산형 인공 일반 지능(AGI) 프레임워크 '코어-1(Core-1)'을 선보였습니다. C++17과 CUDA로 개발된 이 엔진은 120개 레이어의 MoE(Mixture-of-Experts) 트랜스포머 모델을 기반으로 하며, 지속적인 기억, 구조화된 추론, 목표 지향적 계획, 메타 학습, 세계 모델링, 그리고 온라인 학습 등 완전한 인지 아키텍처를 통합했습니다. 이는 여러 노드의 GPU 클러스터에서 모두 실행되도록 설계되어, 대규모 AGI 시스템 구축의 가능성을 제시합니다.
코어-1은 '인지(Perceive) → 기억(Remember) → 추론(Reason) → 계획(Plan) → 행동(Act) → 학습(Learn)'으로 이어지는 완전한 인지 루프를 구현합니다. 언어 모델 백본은 120개 레이어의 MoE 트랜스포머를 사용하며, 각 레이어는 8개의 전문가(expert)와 상위 2개 라우팅(top-2 routing) 방식을 채택했습니다. 또한, 플래시어텐션(FlashAttention) v2, 페이지드 KV 캐시(Paged KV Cache) 등 최신 기술을 적용해 128K 이상의 컨텍스트를 지원합니다. 지속적인 학습(Continuous Learning) 기능은 새로운 상호작용에서 이전 지식을 잊지 않고 학습하며, 탄성 가중치 통합(Elastic Weight Consolidation, EWC)과 경험 재생 버퍼(Experience Replay Buffer)를 통해 안정적인 학습을 지원합니다. 기억 시스템은 일화 기억(Episodic Memory), 의미 기억(Semantic Memory), 작업 기억(Working Memory)으로 구성되어 다양한 형태의 정보를 관리하고, 추론 엔진은 표준 CoT(Chain-of-Thought), 자기 일관성(Self-Consistency), 사고의 나무(Tree-of-Thought), 반성(Reflection) 등 네 가지 구조화된 추론 모드를 제공합니다. 목표 지향적 계획은 몬테카를로 트리 탐색(MCTS)을 활용하며, 메타 학습(Meta-Learning)은 MAML(Model-Agnostic Meta-Learning)을 통해 소수의 예시만으로도 새로운 작업에 빠르게 적응할 수 있도록 돕습니다. 마지막으로, 세계 모델(World Model)은 환경의 내부 예측 모델을 구축하고, 도구 사용(Tool Use) 기능은 계산기, 웹 검색, 코드 인터프리터 등 외부 시스템과의 연동을 가능하게 합니다. 코어-1은 2026년 2월에 추론 준비(Inference-Ready) 상태로 버전 1.0.0이 출시될 예정입니다.
이러한 분산형 AGI 프레임워크의 등장은 인공지능 연구 및 개발 분야에 중요한 이정표가 될 수 있습니다. 1조 파라미터 규모의 모델을 효율적으로 분산 처리하고, 복합적인 인지 기능을 통합함으로써, 현재의 대규모 언어모델(LLM)이 가진 한계를 넘어 진정한 인공 일반 지능에 한 발 더 다가설 수 있는 기반을 마련할 것으로 보입니다. 특히, 지속적인 학습과 메타 학습 기능은 AGI가 실시간으로 환경에 적응하고 새로운 지식을 습득하는 데 필수적인 요소이며, 다양한 추론 모드와 세계 모델은 복잡한 문제 해결 능력과 미래 예측 능력을 강화할 것입니다. 이는 향후 자율 에이전트, 로봇 공학, 복잡한 의사 결정 시스템 등 다양한 분야에서 혁신적인 응용 가능성을 열어줄 것으로 기대됩니다.