Ternlight(턴라이트)가 7MB라는 놀랍도록 작은 크기의 임베딩 모델을 선보이며, 웹 애플리케이션 개발 방식에 새로운 가능성을 제시했습니다. 이 모델은 웹어셈블리(WASM) 기술을 활용해 사용자의 웹 브라우저 내에서 직접 구동됩니다. 덕분에 별도의 서버 API 호출이나 모델 다운로드 과정 없이 텍스트 임베딩(embedding)을 수 밀리초(ms) 만에 처리할 수 있게 되었습니다.
턴라이트의 핵심 강점은 그 경량성과 효율성에 있습니다. 'mini' 버전은 5MB에 불과하며, CPU만으로도 작동해 GPU가 필요 없습니다. 개발자는 npm 패키지 하나만 설치하면 되며, 단 세 줄의 코드로 시맨틱 검색(semantic search) 기능을 웹 애플리케이션에 통합할 수 있습니다. 예를 들어, 리액트(React) 문서 검색 데모에서는 사용자가 질문을 입력하면 브라우저 내에서 즉시 관련 문서를 찾아주는 모습을 보여주며, 이는 네트워크 지연 없이 빠른 사용자 경험을 제공합니다.
이러한 온디바이스(on-device) 임베딩 모델은 여러 면에서 중요한 의미를 가집니다. 첫째, 서버 비용과 API 종속성을 크게 줄여 개발 및 운영 효율성을 높입니다. 둘째, 데이터가 사용자의 기기를 벗어나지 않으므로 개인 정보 보호와 보안 측면에서 유리합니다. 셋째, 네트워크 연결이 불안정하거나 오프라인 환경에서도 작동할 수 있어 사용자 경험을 향상시킵니다. 이는 특히 실시간 검색, 추천 시스템, 챗봇 등 다양한 웹 기반 AI 서비스에 혁신적인 변화를 가져올 잠재력을 지니고 있습니다.