최근 공개된 ZGCM-1은 70억 개 매개변수(7B) 규모의 완전히 오픈된(fully open) 파운데이션 모델로, 수학적 추론과 에이전트 기반 검색에 특화되어 있습니다. 이 모델은 소형 모델이 방대한 웹 데이터를 단순히 암기하는 대신, 의도적인 내부 사고 과정과 외부 도구 활용을 적극적으로 결합함으로써 매개변수 용량의 한계를 극복할 수 있다는 전제에서 출발했습니다. 이를 통해 ZGCM-1은 수천억 개 매개변수를 가진 최첨단 대규모 언어모델(LLM)과 견줄 만한 경쟁력을 보여주며 주목받고 있습니다.
ZGCM-1은 256K(25만 6천 토큰)에 달하는 매우 긴 컨텍스트(context)를 지원하며, 이를 가능하게 한 고효율 학습 방식이 특징입니다. 아키텍처와 시스템 공동 설계(co-design)를 통해 게이티드 슬라이딩 윈도우(gated sliding-window)와 전체 어텐션(full attention)을 교차 적용하고, 안정적인 FP8 뮤온(Muon) 최적화 도구를 사용했습니다. 또한, 16K, 64K, 256K로 점진적으로 컨텍스트를 확장하는 커리큘럼과 상호작용 추적을 마르코프 결정 과정(MDP)으로 재구성하는 미드 트레이닝(mid-training) 기법을 도입했습니다. 특히, 에이전트 스웜(agent swarms)이 클러스터 운영, 데이터 큐레이션, 진단 평가를 자율적으로 관리하는 AI 기반 연구개발(R&D) 워크플로우를 구축하여 개발 효율성을 극대화했습니다.
ZGCM-1의 등장은 소형 모델도 전략적인 설계와 효율적인 학습을 통해 대규모 모델에 버금가는 성능을 낼 수 있음을 입증하며, 인공지능(AI) 모델 개발의 새로운 방향을 제시합니다. 특히 수학적 추론과 에이전트 검색 같은 특정 영역에서 뛰어난 성능을 보이는 것은, 범용 모델의 크기 경쟁을 넘어 특정 목적에 최적화된 모델의 중요성을 부각합니다. 모델 가중치, 학습 코드, 데이터 레시피 등 모든 개발 단계의 결과물을 공개함으로써, 연구 커뮤니티의 접근성을 높이고 후속 연구를 촉진할 것으로 기대됩니다. 이는 AI 기술의 민주화와 혁신 속도 가속화에 기여할 중요한 진전으로 평가됩니다.