최근 공개된 'OpenJev'는 사용자가 웹 브라우저 환경에서 대규모 언어모델(LLM)의 추론(inference) 방식을 직접 실험하고 비교할 수 있도록 설계된 흥미로운 도구입니다. 이 플랫폼은 백엔드 서버 없이 오직 사용자의 로컬 기기, 즉 브라우저와 GPU만을 활용하여 LLM을 구동하고, 두 가지 주요 추론 방식의 성능 차이를 실시간으로 측정할 수 있게 합니다. 이는 LLM의 작동 원리를 이해하고 실제 성능을 체감하는 데 매우 유용합니다.
OpenJev는 MiniCPM5 2B, Qwen3 0.6B, Qwen3.5 4B 등 다양한 크기의 모델을 제공하며, 사용자는 자신의 기기 사양에 맞춰 모델을 선택할 수 있습니다. 특히, 휴대폰이나 저사양 기기에서는 Qwen3 0.6B를, 데스크톱 환경에서는 MiniCPM5 2B를 권장합니다. 이 도구의 핵심 기능은 '직접 읽기(direct readout)'와 'JSON 생성(generation)'이라는 두 가지 추론 방식을 비교하는 것입니다. 직접 읽기 방식은 모델이 주어진 선택지의 확률(logits)을 직접 계산하는 반면, JSON 생성 방식은 모델이 선택지와 그 확률을 JSON 형식의 텍스트로 출력하도록 지시합니다. 사용자는 이 두 방식이 동일한 질문에 대해 얼마나 빠르고 정확하게 응답하는지, 자신의 GPU에서 직접 시간을 측정하며 확인할 수 있습니다. 모든 모델 가중치(weights)는 허깅페이스(Hugging Face)에서 가져오며, 사용자의 브라우저 캐시에 저장되고 입력 데이터는 페이지를 벗어나지 않아 개인 정보 보호 측면에서도 강점을 가집니다.
이러한 온디바이스(on-device) LLM 추론 실험 환경은 여러 가지 중요한 의미를 가집니다. 첫째, 개발자와 연구자들은 클라우드 기반 LLM 서비스에 의존하지 않고도 로컬 환경에서 모델의 성능을 정밀하게 벤치마킹하고 최적화할 수 있습니다. 둘째, 백엔드 서버가 필요 없으므로 데이터 프라이버시(data privacy)가 강화되며, 민감한 정보를 다루는 애플리케이션 개발에 유리합니다. 셋째, 1인 개발자나 소규모 팀이 LLM 기반 서비스를 구축할 때 인프라 비용을 절감하고 개발 속도를 높이는 데 기여할 수 있습니다. 브라우저 내 LLM 실행은 웹 애플리케이션의 새로운 가능성을 열어주며, 향후 더욱 다양한 온디바이스 AI 서비스의 등장을 촉진할 것으로 기대됩니다.