OpenJev는 웹 브라우저 환경에서 로컬 AI 모델의 성능을 직접 비교하고 측정하는 실험적인 웹 애플리케이션입니다. 이 프로젝트는 백엔드 서버 없이 동작하며, 허깅페이스(Hugging Face)에서 모델 가중치를 직접 다운로드하여 브라우저 캐시에 저장하고 실행합니다. 사용자의 입력 데이터는 페이지 밖으로 전송되지 않아 개인 정보 보호에 유리하며, 미니CPM5 2B(MiniCPM5 2B), 큐웬3 0.6B(Qwen3 0.6B), 큐웬3.5 4B(Qwen3.5 4B) 등 다양한 크기의 모델을 선택하여 테스트할 수 있습니다.
OpenJev는 두 가지 주요 확률 산출 방식을 비교합니다. 첫 번째는 '직접 판독(Direct Read)' 방식으로, 제공된 선택지 토큰의 로짓(logit)만 정규화하여 조건부 확률을 계산합니다. 두 번째는 '생성 방식(Generation Method)'으로, 모델이 추정한 선택지별 확률을 토큰 단위로 출력하며, 이 과정을 JSON 텍스트로 시각화합니다. 두 방식은 동일한 로컬 모델에 같은 질문과 선택지를 전달하며, 성능 측정은 'performance.now()'를 이용해 설정, 워밍업, 프롬프트 준비, 실행, 첫 토큰 생성, 완료 시간 등을 정밀하게 측정합니다. 이 실험은 양자화(quantization)가 모델의 품질과 속도에 미치는 영향을 고려하며, 로컬 환경에서의 AI 모델 활용 가능성을 탐색하는 데 중점을 둡니다.
OpenJev는 Jev라는 비공개 서비스의 인터페이스 패턴을 공개 모델로 재현하려는 시도입니다. Jev는 고도로 최적화된 제로샷 분류기(zero-shot classifier)로, 일반 대규모 언어모델(LLM)보다 빠르고 저렴하게 구조화된 출력을 제공하며, 여러 질문에 병렬로 답변할 수 있다는 장점이 있습니다. OpenJev는 이러한 Jev의 핵심 아이디어를 로컬 환경에서 구현하여, 개발자들이 저비용, 저지연으로 AI 모델의 판단 기능을 활용할 수 있는 가능성을 보여줍니다. 이는 특히 자원 제약이 있는 환경이나 개인 정보 보호가 중요한 애플리케이션에서 AI 모델을 효율적으로 통합하는 데 중요한 의미를 가집니다.