카카오가 자체 개발한 경량 대규모 언어모델(LLM)인 '카나나-2(Kanana-2)'의 4가지 모델을 오픈소스로 공개하며 국내 인공지능(AI) 생태계에 새로운 활력을 불어넣고 있습니다. 이번에 공개된 모델들은 30억(3B) 파라미터와 이를 압축한 13억(1.3B) 파라미터 규모로, 각각 기본(Base) 및 지시 이행(Instruct) 버전으로 제공되어 총 4종입니다. 특히 한국어 처리 성능과 효율성에 중점을 둔 점이 주목할 만합니다.
카나나-2-3B 모델은 구글의 TPU 클러스터에서 처음부터 사전 학습되었으며, 이후 인스트럭션 파인튜닝(instruction fine-tuning)과 강화 학습(reinforcement learning)을 거쳐 성능을 최적화했습니다. 1.3B 모델은 3B 모델을 기반으로 단계적 가지치기(pruning)와 증류(distillation) 기법을 적용해 경량화한 것이 특징입니다. 이 1.3B 모델은 슬라이딩 윈도우 어텐션(Sliding Window Attention)과 전체 어텐션을 조합하여 최대 32,768 토큰(token)의 긴 문맥을 지원하며, KV 캐시(Key-Value Cache) 사용량을 약 72.7% 절감하여 온디바이스 환경에서의 효율적인 배포를 가능하게 합니다. 또한, 새로운 한국어 토크나이저(tokenizer)를 도입해 이전 세대보다 한국어 토큰화 효율을 30% 이상 향상시켰습니다. 1.3B Instruct 모델은 한국어 대화, 지시 이행, 도구 호출, 코드 생성 등 다양한 벤치마크에서 Qwen3 계열 모델과 대등하거나 우수한 성능을 보였습니다. 카카오는 모델 학습에 자사 사용자 데이터를 사용하지 않았으며, 'KananaOpenLicense'를 통해 가중치(weight)를 배포합니다.
이번 카카오의 경량 LLM 오픈소스 공개는 국내 AI 개발자 및 스타트업에게 중요한 기회가 될 것입니다. 특히 적은 컴퓨팅 자원으로도 고성능 한국어 LLM을 활용할 수 있게 되어, 다양한 온디바이스 AI 애플리케이션 개발이 가속화될 것으로 예상됩니다. 이는 대규모 자본 없이도 혁신적인 AI 서비스를 만들 수 있는 기반을 제공하며, 한국어 특화 AI 모델의 발전을 촉진할 것입니다. 또한, 해외 모델 의존도를 줄이고 국내 AI 기술 경쟁력을 강화하는 데 기여할 것으로 보입니다.