크래프톤이 SK텔레콤(SKT)과의 협력을 통해 개발한 한영 이중언어 음성 AI 모델 'A.X K2 라온-스피치(Raon-Speech)'를 허깅페이스에 공개하며 AI 기술력을 선보였습니다. 이 모델은 음성 인식(STT)과 음성 합성(TTS)을 넘어 음성 기반 질의응답(SpeechQA/SpokenQA), 텍스트 질의응답, 도구 호출, 턴 기반 멀티모달 대화까지 지원하는 다재다능한 기능을 갖추고 있습니다. 특히 감정, 억양, 화자 정보까지 응답 생성에 활용할 수 있어 더욱 자연스러운 상호작용이 가능합니다.
'A.X K2 라온-스피치'는 SKT의 'A.X K2 Light 20B-A3B' 텍스트 백본에 크래프톤이 자체 학습한 음성 인코더(AuT 인코더)와 음성 생성 모듈(Mimi 계열 신경망 음성 코덱)을 결합한 형태입니다. 전체 21.2B(빌리언) 파라미터 중 약 3.5B 파라미터를 활성화하며 효율성을 높였습니다. 텍스트 백본은 48개 레이어와 2,048차원 은닉 상태를 사용하고, 128개 라우팅 전문가 중 토큰마다 상위 8개를 활성화하는 MoE(Mixture of Experts) 구조를 채택하여 최대 131,072 토큰을 처리할 수 있습니다. 벤치마크 평가에서는 한국어 24개, 영어 22개 등 총 46개 항목에서 30B 이하 공개 음성 언어 모델 중 한국어 종합 1위(0.72점)와 영어 종합 3위(0.75점)를 기록하며 뛰어난 성능을 입증했습니다.
이 모델은 화자 참조 음성을 이용한 음성 복제와 참조 음성의 운율을 이어가는 TTS 연속(continuation) 기능도 지원합니다. 다만, BF16 가중치가 약 42.4GB에 달해 80GB GPU 또는 적절한 다중 GPU 구성이 권장됩니다. 크래프톤은 과학기술정보통신부가 주관하는 '독자 AI 파운데이션 모델 프로젝트(독파모)' SK텔레콤 팀에 참여하며 멀티모달 모델 연구를 진행해왔습니다. 이번 공개는 연구 및 비상업적 프로토타이핑을 위한 CC BY-NC 4.0 라이선스를 따르며, 식별 가능한 화자의 음성을 조건으로 사용하거나 생성할 때는 이용자가 동의를 확보해야 합니다.
이번 'A.X K2 라온-스피치' 공개는 국내 AI 기술 생태계에 중요한 기여를 할 것으로 보입니다. 특히 한국어와 영어를 동시에 처리하는 이중언어 모델로서, 다양한 언어 기반 서비스 개발에 활용될 잠재력이 큽니다. 게임 개발사로 알려진 크래프톤이 AI 연구 분야에서 이처럼 의미 있는 성과를 내고 오픈소스로 공개함으로써, 국내 AI 연구자 및 개발자들에게 새로운 영감과 도구를 제공할 것으로 기대됩니다. 이는 AI 기술의 대중화와 혁신을 가속화하는 중요한 발걸음이 될 것입니다.