최근 텍스트 문맥과 여러 선택지를 받아 각 선택지의 확률을 단일 패스로 계산하는 경량 AI 모델 'Jevlike'가 오픈소스로 공개되었습니다. 이는 TypeSafe의 상용 모델 Jev와 유사한 목적을 가졌지만, Jev의 설계가 비공개인 상태에서 독립적으로 개발된 연구용 프로젝트입니다. Jevlike는 기존의 대규모 언어모델(LLM)이 단어 단위로 답을 생성하는 방식과 달리, 특정 분류 작업에 최적화된 효율적인 접근 방식을 제시합니다.
Jevlike의 핵심은 '선택지 어텐션 헤드(option attention head)'입니다. 각 선택지를 쿼리 벡터로 변환하고, 이 쿼리가 문맥 토큰에 어텐션 가중치를 부여하여 선택지별 문맥 벡터를 생성합니다. 이후 공통 내적 연산을 통해 선택지와 문맥 벡터 쌍의 점수를 매기고, 소프트맥스(softmax) 함수를 적용하여 합이 1인 확률을 계산합니다. 기본적으로 바이트 임베딩(byte embedding)을 처음부터 학습하지만, 허깅페이스(Hugging Face)의 사전학습 인코더를 고정하고 작은 점수 계산 헤드만 학습하는 옵션도 제공하여 유연성을 높였습니다. 로컬 실험에서 합성 선택지에 대해 약 98%의 높은 정확도를 기록했으며, 위키스피디아(Wikispeedia) 데이터셋에서는 다음 클릭 예측 정확도가 구성에 따라 26~29%에 달했습니다. 이는 400토큰을 생성하는 소형 디코더보다 약 100배 빠른 처리 속도를 보여, 효율성 측면에서 큰 강점을 가집니다.
이러한 Jevlike의 등장은 특정 분류 또는 판단 작업에서 대규모 언어모델(LLM)의 비효율성을 해소할 수 있는 중요한 가능성을 시사합니다. LLM은 범용적인 언어 이해 및 생성 능력이 뛰어나지만, 단순히 여러 선택지 중 하나를 고르는 작업에는 과도한 자원 소모와 느린 추론 속도라는 단점이 있었습니다. Jevlike와 같은 경량 모델은 이러한 특정 작업을 훨씬 빠르고 효율적으로 처리함으로써, 온디바이스(on-device) AI나 실시간 반응이 중요한 애플리케이션에 적합한 대안이 될 수 있습니다. 이는 AI 모델 설계의 다양성을 보여주며, 앞으로 LLM의 잠재 공간에 담긴 지능을 활용하면서도 출력을 효율적으로 내놓는 모델들이 더욱 활발히 연구될 것임을 기대하게 합니다.