컨브AI 이노베이션(ConvAI Innovations)이 대규모 언어모델(LLM)의 비효율을 해결하기 위한 오픈소스 비자동회귀(non-autoregressive) 의사결정 모델 '라야(Laya)'를 발표했습니다. 라야는 텍스트를 생성하지 않고 구조화된 질문에 대한 확률 예측을 초고속으로 제공하여, 기존 LLM이 간단한 의사결정에 사용될 때 발생하는 지연과 비용 문제를 해결합니다. 이는 인간 두뇌의 '시스템 1'처럼 즉각적인 반사적 결정을 내리는 데 최적화된 모델입니다.
라야는 30~35밀리초(ms) 이내의 응답 속도를 자랑하며, 이는 경쟁 모델인 제브(Jev)보다 6~8배 빠릅니다. 100개 이상의 언어를 지원하고, API 구독 비용이 전혀 없으며, 아파치 2.0(Apache 2.0) 라이선스로 모델 가중치(weights)가 완전히 공개되었습니다. 라야는 '선택(choice)', '점수(score)', '참/거짓(noul)'의 세 가지 의사결정 기본 요소를 통해 어떤 형태의 입력(텍스트, 이메일, JSON 문서 등)에서도 단일 전달(single forward pass)로 질문을 평가합니다. 이를 통해 모델은 텍스트를 생성하지 않아 환각(hallucination) 현상이 없고, 스키마 위반이나 잘못된 JSON 출력 가능성이 원천적으로 차단됩니다.
이번 라야의 출시는 AI 업계에 중요한 시사점을 던집니다. 간단한 분류나 라우팅 등 '시스템 1' 유형의 의사결정 작업에 무거운 생성형 LLM을 사용하는 것은 비효율적이라는 인식이 확산되고 있기 때문입니다. 라야와 같은 경량화된 전문 모델은 기업들이 AI를 도입하고 운영하는 데 드는 비용과 시간을 크게 절감할 수 있게 합니다. 특히 오픈소스 정책은 더 많은 개발자와 기업이 AI 기술에 접근하고 혁신을 가속화하는 데 기여할 것으로 보입니다. 이는 AI 활용의 실용성과 경제성을 높이는 중요한 전환점이 될 것입니다.