독일의 선도적인 AI 기업 알레프 알파(Aleph Alpha)가 새로운 오픈 가중치(open-weight) 대규모 언어모델(LLM) '콜리브리(Kolibri)'를 출시했습니다. 총 780억 개의 매개변수(파라미터)를 가지며, 이 중 30억 개의 활성 매개변수(active parameters)를 사용하는 혼합 전문가(Mixture-of-Experts, MoE) 트랜스포머 모델입니다. 콜리브리는 최대 100만 토큰의 긴 컨텍스트 길이(context length)를 지원하며, 아파치 2.0(Apache 2.0) 라이선스 하에 허깅 페이스(Hugging Face)에서 전체 가중치(full weights)를 다운로드할 수 있습니다.
콜리브리는 특히 영어와 독일어에 최적화되어 있으며, 추론(reasoning), 수학, 에이전트(agentic) 행동 등 규제 산업 분야의 미션 크리티컬(mission-critical) 작업에 특화되어 있습니다. 알레프 알파는 모델 훈련 파이프라인을 지속적으로 개선하여 콜리브리를 개발했으며, 이를 통해 데이터 수집부터 전처리, 사전 학습(pre-training), 사후 학습(post-training) 및 최종 평가까지 안정적인 과정을 거쳤습니다. 이 모델은 적은 활성 매개변수에도 불구하고 엔비디아(NVIDIA)의 네모트론 3 슈퍼(Nemotron 3 Super) 120B-A12B와 같은 4배 이상 큰 모델과 유사한 성능을 보여주며, 품질 대비 서빙(serving) 비용 측면에서 파레토 최전선(Pareto frontier)에 위치한다고 주장합니다.
콜리브리의 가장 큰 특징은 '주권(sovereignty)'과 '특화(specialization)'입니다. 알레프 알파는 데이터 수집부터 모델 평가까지 전체 공급망의 무결성(supply-chain integrity)과 투명성을 제공하여 고객이 모델 배포의 자유와 지적 재산권(intellectual-property) 안전성을 확보할 수 있도록 합니다. 이는 특히 공공 행정, 산업, 항공우주 등 민감한 데이터를 다루는 규제 산업 분야에서 중요한 이점으로 작용합니다. 고객은 온프레미스(on-premise) 환경에서 효율적으로 모델을 운영하며 내부 데이터를 외부 서비스로 전송할 필요 없이 AI 운영의 경제적 영향을 측정하고 ROI를 극대화할 수 있습니다. 콜리브리는 특정 도메인 언어, 규제 및 절차적 현실을 고려하여 광범위한 부문에서 성능을 최적화하여 실제 비즈니스 환경에 맞는 AI 솔루션을 제공합니다.