Ternlight가 웹 브라우저 내에서 직접 텍스트 임베딩(embedding) 및 유사도 검색을 수행하는 혁신적인 초경량 모델을 발표했습니다. 이 모델은 서버와의 통신 없이 클라이언트 기기에서 모든 연산을 처리하며, 기본 패키지는 엔진과 가중치를 포함해 단 7MB, 미니(mini) 버전은 5MB에 불과합니다. 특히 GPU 없이 일반 CPU만으로도 밀리초(ms) 단위의 빠른 임베딩이 가능해, 개발자들이 웹 애플리케이션에 의미 기반 검색 기능을 손쉽게 통합할 수 있게 되었습니다.
Ternlight는 npm 패키지 형태로 제공되어 `@ternlight/base` 또는 `@ternlight/mini`를 설치한 후 `embed`와 `similar` 함수를 호출하는 세 줄의 코드로 의미 기반 검색 흐름을 구축할 수 있습니다. 예를 들어, 레시피 목록에서 특정 질의에 대한 상위 3개 결과를 정렬하는 데 약 5ms가 소요되며, 네트워크 호출은 전혀 발생하지 않습니다. 이는 React 문서 검색 데모에서도 확인할 수 있는데, 사용자가 질문을 입력하면 브라우저에서 즉시 검색이 이루어지며, 5MB 티어인 `@ternlight/mini`가 이를 구동합니다. 이 모델은 MiniLM에서 시작하여 작은 문장 인코더를 증류하고, 삼진(ternary) 양자화 인식 학습을 적용해 크기를 극적으로 줄였습니다.
이러한 온디바이스(on-device) 임베딩 모델은 여러 중요한 의미를 가집니다. 첫째, 서버 의존성을 제거하여 네트워크 지연 없이 즉각적인 검색 경험을 제공하고, 서버 비용을 절감할 수 있습니다. 둘째, 모든 데이터 처리가 사용자 기기 내에서 이루어지므로 민감한 정보의 외부 유출 위험을 줄여 프라이버시(privacy) 보호에 큰 이점을 제공합니다. 셋째, 7MB라는 작은 크기는 웹 애플리케이션의 초기 로딩 부담을 최소화하면서도 강력한 AI 기능을 추가할 수 있게 합니다. 이는 FAQ/의도 매칭, 군집화, 제품 데이터베이스 검색 등 다양한 클라이언트 측 AI 활용 사례를 가능하게 할 것입니다.
향후 이 기술은 정적 사이트 생성기(SSG)와 결합하여 페이지 콘텐츠를 자동으로 파싱하고 작은 임베딩 데이터베이스를 생성하는 플러그인 형태로 발전할 가능성도 있습니다. 이는 Pagefind.app과 유사하게 완전 정적 벡터 검색을 제공하며, HTTP 범위 요청(range request)과 WASM(WebAssembly)을 활용해 정적 호스팅된 SQLite 데이터베이스를 브라우저에서 직접 탐색하는 방식과도 시너지를 낼 수 있습니다. 궁극적으로 Ternlight와 같은 기술은 대기업이 통제하지 않는 분산되고 개방적인 검색 생태계의 성장을 촉진할 잠재력을 가지고 있습니다.