롱캣(LongCat)이 총 파라미터 1.6조 개, 활성 파라미터 480억 개 규모의 새로운 대규모 MoE(Mixture-of-Experts) 모델인 롱캣 2.0을 발표하며 인공지능 업계의 주목을 받고 있습니다. MoE 모델은 여러 개의 전문가 네트워크 중 입력에 가장 적합한 전문가를 선택적으로 활성화하여 연산 효율성을 높이는 구조로, 대규모 언어모델(LLM)의 성능과 효율성이라는 두 마리 토끼를 잡기 위한 핵심 기술로 부상하고 있습니다.
롱캣 2.0은 특히 긴 컨텍스트(context)를 처리하는 데 강점을 보이며, 이는 기존 LLM들이 가진 고질적인 문제 중 하나였습니다. 많은 파라미터를 가졌음에도 불구하고, MoE 아키텍처 덕분에 실제 추론(inference) 시에는 480억 개의 파라미터만 활성화되어 비용 효율적인 운영이 가능합니다. 이러한 설계는 방대한 양의 정보를 이해하고 요약하며, 복잡한 질의에 답변하는 등 다양한 고급 애플리케이션에서 강력한 성능을 발휘할 것으로 기대됩니다.
이번 롱캣 2.0의 출시는 대규모 언어모델 시장의 경쟁을 더욱 심화시킬 것으로 보입니다. 특히 긴 컨텍스트 처리 능력은 법률 문서 분석, 장문의 연구 논문 요약, 복잡한 코드 베이스 이해 등 전문 분야에서 혁신적인 변화를 가져올 잠재력을 가지고 있습니다. 이는 단순히 모델 크기를 키우는 것을 넘어, 실제 활용성 측면에서 LLM의 새로운 가능성을 열어주는 중요한 진전으로 평가받고 있습니다.