중국 AI 기업 GLM이 자사의 대규모 언어모델(LLM)인 GLM-5.3 기반 에이전트와 엔지니어들의 협력을 통해 10만 개가 넘는 중국산 AI 가속기 위에 GLM-5.3-Flash 모델을 위한 추론(inference) 인프라를 성공적으로 구축했습니다. 이 프로젝트는 초기 모델 적응부터 실제 서비스 준비까지 2주도 채 걸리지 않았으며, 메모리 최적화와 추론 단계 분리 등의 기술을 적용하여 초기 대비 전체 처리량을 약 3배 향상시키는 놀라운 성과를 달성했습니다. 이는 AI 모델이 단순히 코드를 생성하는 것을 넘어, 스스로 시스템의 문제를 진단하고 개선하는 '재귀적 자기 개선(RSI)'의 초기 단계를 보여주는 중요한 사례입니다.
이번 인프라 구축은 전례 없는 규모의 중국산 가속기 클러스터 위에서 진행되었는데, 이 가속기들은 상대적으로 제한적인 메모리 용량과 대역폭을 가지고 있었으며, 생태계와 커널(kernel) 지원도 미성숙한 상태였습니다. GLM은 이러한 제약을 극복하기 위해 GLM-5.3 기반의 인프라 에이전트(Infra Agent)를 적극 활용했습니다. 에이전트는 긴 문맥에서 발생하는 누적 계산 오차, 데이터 전송을 방해하는 잠금(lock), 반복되는 중복 연산 등을 찾아내고 수정했으며, 개별 수정의 효과와 실제 서비스 성능을 모두 검증하는 피드백 루프를 구축했습니다. 특히, 연산을 더 사용해 대역폭 부담을 줄이고 통신을 늘려 장치 메모리를 절약하는 메모리 최적화 기법과 Encode-Prefill-Decode(EPD) 분리 아키텍처를 도입하여 하드웨어 활용 효율과 토큰당 비용을 NVIDIA GPU에 견줄 만한 수준으로 끌어올렸습니다.
이러한 성과는 단순히 AI 모델의 코드 생성 능력을 넘어, 문제의 원인을 좁히고 수정 효과를 빠르게 확인할 수 있는 '촘촘한 피드백(dense feedback)' 시스템 덕분이었습니다. 에이전트는 정확도 테스트, 런타임 로그, 실행 추적, 성능 측정 등 다양한 관측 및 검증 수단을 직접 호출하고 반복하는 작업 흐름에 통합했습니다. 이를 통해 커널 자체의 문제인지, 장치 유휴 상태 때문인지, 혹은 상위 스케줄링 지연 때문인지 등 복잡한 추론 시스템의 병목 현상을 정확히 진단하고 해결할 수 있었습니다. 엔지니어는 목표 설정과 핵심 변경 검토를 담당하고, 에이전트는 분석, 가설 수립, 코드 변경을 수행하는 효율적인 협업 모델을 보여주었습니다.
이번 사례는 AI가 스스로를 실행하는 시스템을 개선하는 순환(loop)을 구현했다는 점에서 큰 의미가 있습니다. 비록 후속 모델을 완전히 자율적으로 설계하고 학습하는 완전한 재귀적 자기 개선(RSI)에는 아직 도달하지 못했지만, 숙련된 인프라 엔지니어 팀이 수주간 수행할 작업을 모델이 단기간에 완수함으로써 AI 개발의 패러다임을 바꿀 잠재력을 보여주었습니다. 이러한 추세가 충분한 연산 자원과 시간 아래 지속된다면, 최종적으로는 AI가 완전히 자율적으로 다음 세대 모델을 설계하고 학습하는 미래가 현실이 될 수 있을 것입니다. 이는 AI가 단순한 도구를 넘어, 스스로 진화하는 주체로 발전할 가능성을 시사합니다.