TypeSafe가 공개한 Jev는 기존 대규모 언어모델(LLM)의 한계를 극복하고, 실제 비즈니스 의사결정에 최적화된 새로운 접근 방식을 제시합니다. Jev는 사전 학습된 LLM의 방대한 지식을 활용하되, '90% 확신합니다'와 같은 문장 형태의 불확실한 확신도 대신, 허용된 답들의 정확한 확률 분포를 병렬로 출력하는 의사결정 모델입니다. 이는 사기 탐지, 콘텐츠 검토, 요청 분류, 위험 평가 등 높은 신뢰성이 요구되는 분야에서 검증되지 않은 확신도에 의존하거나 불필요한 토큰 생성 비용을 지불하는 문제를 해결합니다.
Jev의 아키텍처는 공유 상태(shared state) 처리와 질문 간 격리(isolated questions)를 특징으로 합니다. 이는 공통 입력(프리필)을 한 번 처리하고 여러 질문에 대한 분기를 병렬로 실행하여 자동회귀 디코딩(autoregressive decoding)을 생략하고 반복 계산을 줄이는 방식으로 효율성을 극대화합니다. 예를 들어, 지원 요청을 '결제 부서'로 분류할 확률과 '긴급 대응'이 필요할 확률을 동시에 계산할 수 있습니다. 흥미로운 점은 질문은 서로 격리되지만, 한 질문 내의 선택지들은 최종 판단에 함께 영향을 미 미쳐 선택지 추가나 순서 변경만으로도 기존 답의 확률이 달라질 수 있다는 것입니다. 또한, Jev의 API는 출력 토큰 수를 디코딩 횟수가 아닌 과금용 수치로 계산하며, 선택지 수에 따른 응답 지연이 거의 없어 병렬 처리의 이점을 보여줍니다.
Jev의 이러한 접근 방식은 LLM 활용의 패러다임을 바꿀 잠재력을 가집니다. 기존 LLM이 생성하는 텍스트 기반의 확신도는 실제 확률을 의미하지 않아 중요한 의사결정에 적용하기 어려웠습니다. Jev는 내부 표현에서 확률을 직접 읽어내고 실제 결과를 기준으로 확률을 학습함으로써, 기업이 불확실성을 명시적으로 계산하고 후속 정책을 수립하는 데 필요한 신뢰할 수 있는 데이터를 제공합니다. 이는 불필요한 비용을 줄이고 의사결정의 정확도를 높이는 데 기여할 수 있습니다. Jev는 범용 트랜스포머(Transformer) 지식, 공유 문맥 계산, 타입이 있는 출력 인터페이스, 그리고 유용한 불확실성을 학습하는 목표의 조합이 핵심이며, 기존 LLM의 한계를 뛰어넘는 실용적인 AI 솔루션으로서 주목받고 있습니다.