최근 생성형 대규모 언어모델(LLM)이 다양한 분야에서 활용되고 있지만, 단순한 판단이나 분류 작업에도 긴 응답 시간과 높은 비용이 드는 비효율성이 지적되어 왔습니다. 이러한 문제를 해결하기 위해, 텍스트 생성 없이 구조화된 질문에 대해 선택지, 점수, 불리언(Boolean) 확률을 즉시 반환하는 비자기회귀형 의사결정 모델 '라야(Laya)'가 오픈소스로 공개되었습니다. 라야는 여러 질문을 한 번의 순전파(forward pass)로 처리하며, 단일 GPU에서 질문 하나를 32.8ms, 10개 질문을 배치(batch) 처리할 때는 질문당 7.2ms라는 놀라운 속도를 자랑합니다.
라야는 양방향 인코더 기반으로, 영어용, 다국어용, 업무 특화 체크포인트를 제공하며 문자 체계 기반 라우터(router)로 입력을 분배합니다. 이는 경쟁 모델인 TypeSafe AI의 '제브(Jev)'가 비공개 API와 높은 비용(100만 토큰당 0.042달러)으로 운영되는 것에 대한 반발로 개발되었으며, 코드와 가중치가 아파치 2.0(Apache 2.0) 라이선스로 공개되어 자체 호스팅이 가능합니다. 라야는 제브 대비 분류 정확도에서 최대 3.9%포인트, 기대 보정 오차(ECE)에서 약 3배 우수하며, 단일 질문 처리 속도는 7.8배, 10개 질문 배치 처리 시 약 20배 빠릅니다. 또한, LLM이 생성하는 '확신도(confidence)'가 수학적 확률 보정을 보장하지 않는 한계를 극복하기 위해, 도메인별 온도 보정(temperature calibration)을 통해 신뢰할 수 있는 확률을 제공합니다.
라야의 핵심 목표는 생성형 LLM을 호출하지 않고도 지원 티켓 부서 배정, 피싱/스팸 판별, 탈옥/프롬프트 주입 탐지, 긴급도 평가, 코드 실행 필요 여부 등 단순하고 구조화된 판단을 즉시 수행하는 것입니다. 이는 LLM 사용 시 발생하는 토큰 출력 대기 시간(500~2,000ms), 추론 비용, 정규식/JSON 파싱 부담을 없애줍니다. 라야는 엔론(Enron) 이메일 스팸 필터링(정확도 0.993), 피싱 탐지(정확도 0.980), LLM 가드레일/탈옥 탐지(정확도 0.755~0.762) 등 실제 업무에서 높은 성능을 보였습니다. 다만, 선택지가 20개를 넘으면 성능이 저하될 수 있어, 선택지를 20개 미만으로 유지하거나 2단계 계층 구조를 사용하는 것이 권장됩니다.
이러한 라야의 등장은 모든 AI 문제를 자기회귀형 챗봇으로 해결하려는 경향에서 벗어나, 대량 분류, 가드레일, 라우팅, 우선순위 분류와 같은 특정 작업을 빠르고 효율적인 양방향 의사결정 모델로 처리하는 새로운 접근 방식을 제시합니다. 오픈소스 정책과 뛰어난 성능은 개발자들이 운영 코드에 바로 적용할 수 있는 강력한 대안을 제공하며, LLM의 한계를 보완하고 AI 활용의 효율성을 극대화하는 데 기여할 것으로 기대됩니다. 특히, 비용과 속도에 민감한 기업 환경에서 라야는 생성형 AI의 보완재이자 강력한 대안으로 자리매김할 잠재력을 가지고 있습니다.