인스티튜트 오브 파운데이션 모델(IFM)이 초소형 기기부터 엔터프라이즈 환경까지 아우르는 여섯 가지 대규모 언어모델(LLM) 제품군인 K2 호라이즌(Horizon)을 공개했습니다. 0.9B(9억 개 매개변수)부터 375B-A23B(3,750억 개 매개변수, 활성 매개변수 230억 개)에 이르는 다양한 크기의 모델들은 각 규모에서 최고 수준의 성능을 자랑하며, 특히 0.9B, 3.7B, 7B 모델은 해당 규모에서 새로운 기술 표준(state-of-the-art)을 제시했습니다.
K2 호라이즌은 추론(reasoning), 수학, 코딩, 에이전트(agentic) 작업 등 다양한 분야에서 탁월한 성능을 보입니다. 특히 36B-A4B 모델은 새로운 MoVA(Mixture-of-Value-Attention) 메커니즘을 통해 활성 매개변수당 뛰어난 효율성을 보여주며, 훨씬 큰 모델들을 능가하는 성능을 제공합니다. IFM은 이 모델들의 최종 가중치(weights)뿐만 아니라 사전 학습부터 에이전트 후처리 학습까지 전체 훈련 과정의 중간 체크포인트, 훈련 데이터 구성 방식, 오픈 아키텍처, 훈련 코드, 상세 로그 등을 아파치 2.0(Apache 2.0) 라이선스로 전면 공개하여, 연구자와 개발자들이 모델의 내부 작동 원리를 깊이 이해하고 재현하며 응용할 수 있도록 지원합니다. 이는 기존의 강력하지만 불투명한 모델들과 차별화되는 지점입니다.
이러한 포괄적인 공개는 AI 연구 및 개발 커뮤니티에 중요한 의미를 가집니다. 연구자들은 강력한 모델에서 나타나는 고급 기능의 출현 과정을 심층적으로 연구할 수 있으며, 개발자들은 단순히 최종 결과물을 사용하는 것을 넘어 모델 개발 방법론을 직접 재현하고 새로운 도구, 환경, 도메인에 맞게 조정하고 확장할 수 있습니다. K2 호라이즌은 웨어러블 기기(0.9B), 스마트폰(3.7B, 7B), 워크스테이션(32B, 36B-A4B), 그리고 고성능 엔터프라이즈(375B-A23B)까지 모든 배포 환경에 최적화된 선택지를 제공하며, AI 기술의 접근성과 활용성을 한 단계 끌어올릴 것으로 기대됩니다.