최근 GPU 없이도 텍스트 분류(text classification) 작업을 로컬에서 효율적으로 수행할 수 있는 오픈소스 라이브러리 '제피(Jeffy)'가 공개되어 개발자 커뮤니티의 주목을 받고 있습니다. 이 도구는 대규모 언어모델(LLM) 기반의 복잡한 시스템이 아닌, 사전 학습된 경량 분류기를 활용하여 CPU 환경에서도 빠르고 정확한 텍스트 분석을 가능하게 합니다. 특히, 별도의 고성능 하드웨어 없이도 스팸 탐지, 고객 의도 파악, 뉴스 주제 분류 등 다양한 작업을 처리할 수 있다는 점이 큰 장점입니다.
제피는 기본적으로 13가지의 사전 학습된 텍스트 분류기를 제공하며, 각 분류기는 SMS 스팸 탐지(sms_spam), 영화 리뷰 감성 분석(imdb), 은행 고객 문의 의도 파악(banking77), 뉴스 토픽 분류(ag_news) 등 실용적인 태스크에 최적화되어 있습니다. 이 분류기들은 로지스틱 회귀(logistic regression) 계수를 기반으로 하며, 약 1.2GB 크기의 공유 인코더(bge-large-en-v1.5) 모델을 한 번만 다운로드하면 모든 기능을 활용할 수 있습니다. 또한, 사용자가 직접 커스텀 데이터를 활용해 새로운 분류기를 학습시키고 로컬에서 서빙(serving)할 수 있는 기능도 제공하여, 특정 도메인에 특화된 분류 모델을 손쉽게 구축할 수 있도록 돕습니다. 예를 들어, 몇 줄의 파이썬 코드만으로도 제품 리뷰 데이터를 학습시켜 긍정/부정 감성을 분류하는 모델을 만들 수 있습니다.
제피의 등장은 고성능 GPU 자원에 대한 의존도를 낮춰 AI 개발 및 활용의 문턱을 크게 낮춘다는 점에서 의미가 큽니다. 특히, 클라우드 기반의 AI 서비스 이용 비용에 부담을 느끼거나, 데이터 보안 및 프라이버시 문제로 로컬 환경에서의 처리가 필요한 스타트업 및 개인 개발자들에게 유용한 대안이 될 수 있습니다. 이는 제한된 자원으로도 텍스트 분류와 같은 핵심 AI 기능을 자체 서비스에 통합하려는 시도를 가속화할 것으로 보입니다. 앞으로 제피와 같은 경량화된 로컬 AI 솔루션은 다양한 산업 분야에서 맞춤형 AI 애플리케이션 개발을 촉진하며, AI 기술의 대중화에 기여할 것으로 기대됩니다.