AI 인프라 소프트웨어 기업 래블업이 한국어 질문에 대한 인공지능(AI) 답변 속도를 획기적으로 높이는 보조 모델 ‘GLM-5.2-NVFP4-DFlash-ko’를 오픈소스 플랫폼 허깅페이스에 공개했습니다. 이는 기존 드래프트 모델들이 대부분 영어 데이터로 학습되어 한국어 환경에서는 속도 개선 효과가 미미했던 문제를 해결하기 위한 것으로, 한국어 AI 서비스 개발에 중요한 전환점이 될 전망입니다.
이번에 공개된 모델은 중국 Z.ai의 오픈 LLM인 GLM-5.2와 함께 사용되는 추론 가속용 드래프트 모델입니다. 드래프트 모델은 '투기적 디코딩(speculative decoding)'이라는 기술을 활용하는데, 작은 모델이 먼저 여러 개의 다음 단어 조각(토큰)을 추측하면, 큰 LLM이 이를 한꺼번에 검토하여 정확한 것만 채택하는 방식입니다. 이로써 답변 품질은 유지하면서 처리 속도를 높일 수 있습니다. 래블업은 실제 한국어 에이전트 이용 데이터를 통해 새 모델이 검증 한 번에 평균 2.7개 토큰을 받아들여, 영어 환경에서 영어 드래프트 모델을 사용할 때와 유사한 가속 효과를 낸다고 밝혔습니다. 이는 영어 기반 드래프트 모델을 한국어에 적용했을 때의 1개대 토큰 처리량과 비교하면 상당한 개선입니다.
래블업의 이번 오픈소스 공개는 한국어 기반 AI 서비스의 성능 향상에 크게 기여할 것으로 보입니다. 그동안 한국어 특화 모델의 부족으로 인해 영어 중심의 AI 기술을 그대로 적용할 경우 성능 저하를 겪었던 개발자와 기업들에게 실질적인 해결책을 제공하기 때문입니다. 신정규 래블업 대표는 “한국어 환경에서도 개발자와 기업이 가속 효과를 온전히 얻도록 한글날에 맞춰 공개했다”며, AI 인프라 소프트웨어 경험을 바탕으로 한국어 모델 개발까지 사업 범위를 확장하고 있음을 강조했습니다. 이러한 노력은 한국어 AI 생태계의 발전과 함께, 국내 기업들의 글로벌 경쟁력 강화에도 긍정적인 영향을 미칠 것으로 기대됩니다.