Eximius Labs가 최근 공개한 '퓨전 임베딩 1(Fusion Embedding 1)'은 텍스트, 이미지, 비디오는 물론 오디오까지 아우르는 단일 임베딩 공간을 제공하는 오픈소스 멀티모달 임베딩 모델입니다. 특히 이 모델은 단 1,600만 개의 파라미터(매개변수)만으로 학습되었음에도 불구하고, 오디오-텍스트 상호 검색 성능에서 구글의 제미니 임베딩 2(Gemini Embedding 2)를 포함한 기존 통합 임베딩 모델들을 뛰어넘는 성과를 보여 주목받고 있습니다.
퓨전 임베딩 1의 핵심은 기존의 최첨단 시각-언어 임베딩 모델인 Qwen3-VL-Embedding-2B에 오디오 모달리티(modality)를 확장하는 방식입니다. 여기서 흥미로운 점은 기본 모델의 가중치(weights)를 전혀 수정하지 않고, 약 1,600만 개의 파라미터로 구성된 '커넥터(connector)'만 학습시켰다는 것입니다. 이 커넥터는 Qwen2.5-Omni 오디오 타워의 고정된 오디오 특징(feature)을 기본 모델의 임베딩 공간으로 매핑하는 역할을 합니다. 그 결과, 텍스트, 이미지, 비디오, 오디오 간에 어떤 방향으로든 검색이 가능한 단일 임베딩 공간이 만들어졌으며, 특히 오디오-텍스트 간 성능에서 ImageBind, LanguageBind, Gemini Embedding 2를 능가하는 것으로 나타났습니다. 또한, 오디오-텍스트 쌍으로만 학습했음에도 오디오-이미지 간의 교차 모달 정렬(cross-modal alignment)이 자연스럽게 나타나는 '이머전트(emergent)' 특성까지 보였습니다.
이러한 접근 방식은 멀티모달 AI 개발에 있어 중요한 시사점을 던집니다. 기존의 강력한 기반 모델을 활용하면서도 최소한의 추가 학습만으로 새로운 모달리티를 통합할 수 있음을 보여주기 때문입니다. 이는 대규모 모델을 처음부터 다시 학습시키는 데 드는 막대한 비용과 시간을 절약할 수 있게 하며, 다양한 모달리티를 유연하게 결합해야 하는 애플리케이션 개발에 큰 이점을 제공합니다. 특히, 텍스트, 이미지, 오디오 등 여러 형태의 데이터를 동시에 이해하고 처리해야 하는 검색, 콘텐츠 추천, 자동 요약 등의 분야에서 혁신적인 사용자 경험을 제공할 잠재력을 가지고 있습니다.