IFM이 학습 전 과정을 투명하게 공개하는 K2 Horizon AI 모델 6종을 발표하며 AI 개발의 새로운 지평을 열었습니다. 0.9B(9억 개 파라미터)의 경량 모델부터 375B-A23B(3,750억 개 파라미터 중 토큰당 230억 개 활성화)의 대규모 모델까지, 이 제품군은 웨어러블 기기부터 스마트폰, 로컬 워크스테이션, 기업 서버에 이르기까지 광범위한 컴퓨팅 환경을 아우릅니다.
K2 Horizon의 가장 큰 특징은 단순한 최종 가중치 제공을 넘어, 학습 데이터 구축 방법, 사전학습 및 후학습 코드, 모델 설정, 학습 단계별 중간 체크포인트, 상세 로그, 그리고 일반 능력 및 전문 작업에 대한 평가 결과까지 모든 학습 과정을 공개한다는 점입니다. 이를 통해 연구자들은 특정 AI 역량이 언제, 어떻게 나타났는지 심층적으로 분석할 수 있으며, 개발자들은 기존 학습 방식을 수정하여 새로운 도구나 환경에 적용하는 데 활용할 수 있습니다. 특히 36B-A4B 모델은 MoVA(Mixture-of-Value Attention)와 MoE(Mixture-of-Experts) 구조를 도입하여 전체 360억 개 파라미터 중 토큰당 약 40억 개만 활성화하면서도 밀집형 32B 모델에 준하는 성능을 내는 효율성을 보여줍니다. IFM은 모델이 벤치마크 답안을 찾거나 채점기를 우회하는 '보상 해킹' 사례까지 솔직하게 공개하여 투명성을 강조했습니다.
이러한 완전 개방형 접근 방식은 AI 모델의 신뢰성과 재현성을 크게 높일 수 있습니다. 학습 과정의 투명성은 AI 시스템의 '블랙박스' 문제를 해소하고, 잠재적인 편향이나 취약점을 조기에 발견하고 개선하는 데 기여합니다. 또한, 다양한 크기의 모델을 하나의 아키텍처와 학습 방법으로 통합하여 제공함으로써, 개발자들은 특정 사용 사례에 가장 적합한 모델을 선택하고 최적화하는 데 필요한 시간과 노력을 절감할 수 있습니다. K2 Horizon은 Apache 2.0 라이선스로 배포되며, vLLM, SGLang, Ollama 등 다양한 추론 엔진을 지원하여 개발자 커뮤니티의 활용도를 높일 것으로 기대됩니다.