텐센트(Tencent)가 7,700억 개(활성 매개변수 490억 개)에 달하는 방대한 매개변수를 가진 차세대 대규모 언어모델(LLM) 'Hy4 프리뷰'를 공개하고 오픈 소스로 전환했습니다. 이 모델은 100만 개 이상의 토큰을 처리할 수 있는 긴 컨텍스트 창(context window)을 지원하며, 코딩, 사무 업무, 과학 연구 등 다양한 실제 생산성 작업에서 최상위권 성능을 발휘한다고 텐센트는 밝혔습니다.
Hy4 프리뷰는 기존 모델 대비 모델 크기, 컨텍스트 길이, 학습 데이터 볼륨이 크게 확장되었으며, 사전 학습(pre-training)과 사후 학습(post-training) 모두에서 진전을 이루어 전반적인 지능이 크게 향상되었습니다. 텐센트 내부에서 163명의 전문가와 203개의 엔지니어링 작업을 대상으로 진행된 블라인드 평가에서 Hy4 프리뷰는 4점 만점에 평균 2.99점을 기록하며 GLM-5.3(2.92점)과 Kimi K3(2.94점)를 근소하게 앞섰습니다. 특히 소프트웨어 엔지니어링, 사무 생산성, 게임 개발, 과학 연구 등 광범위한 분야에서 실질적인 개선을 보였습니다. 예를 들어, 게임 개발에서는 자연어 요청만으로 플레이 가능한 프로토타입을 생성할 수 있으며, 과학 연구에서는 복잡한 문제를 이해하고 추론하는 능력이 향상되었습니다.
주목할 만한 점은 Hy4 프리뷰가 자체 개발 과정에 참여하여 학습 방법, 데이터 전략, 평가 프레임워크, 저수준 연산자(low-level operators)의 자동 최적화를 주도했다는 것입니다. 모델이 직접 접근 방식을 제안하고 실험을 실행하며 결과를 바탕으로 반복 개선하는 초기 단계의 재귀적 자기 개선(recursive self-improvement) 루프를 구축한 것입니다. 또한, 추론 시스템의 병목 현상을 자율적으로 분석하고 최적화를 수행하여 엔드투엔드 처리량(throughput)을 31.8% 증가시키는 등, 모델 스스로 인프라를 최적화하는 능력까지 보여주었습니다. 이러한 발전은 AI 모델이 단순한 도구를 넘어, 스스로 진화하고 효율성을 높이는 방향으로 나아가고 있음을 시사하며, 향후 AI 개발 및 활용 방식에 큰 변화를 가져올 잠재력을 보여줍니다.