메타(Meta)의 결합 임베딩 예측 아키텍처(JEPA) 연구팀이 시각과 언어 같은 서로 다른 모달리티(modality)에서 독립적으로 학습된 모델들이 어떻게 동일한 세계 상태를 표현하는지 이론적으로 증명했습니다. 이는 '플라톤적 표현 가설(Platonic Representation Hypothesis, PRH)'을 확장한 것으로, 모델 규모뿐 아니라 학습에 사용되는 '뷰(view)'의 구성이 표현 정렬에 핵심적인 역할을 한다는 점을 밝혀냈습니다. 이 연구는 멀티모달 AI가 현실을 더 잘 이해하고 표현하는 방법을 제시하며, 학습 효율성을 크게 높일 잠재력을 보여줍니다.
연구팀은 JEPA가 동일한 세계 상태를 연결하는 '양성 쌍(positive pair)'을 사용할 때, 일정한 가정 아래 회전 변환만 다른 동일한 표현을 학습한다는 정리를 증명했습니다. 특히, 같은 장면의 서로 다른 관측(예: 같은 사물을 찍은 여러 사진)을 연결하는 '좋은 뷰'가 단일 관측을 마스킹하거나 잘라 연결하는 '나쁜 뷰'보다 훨씬 효과적임을 입증했습니다. 실제로 좋은 뷰를 사용한 JEPA는 다음 토큰 예측(next token prediction) 방식과 유사한 정렬에 도달하는 데 약 42배 적은 학습 샘플만 필요했습니다. 1억 900만 파라미터(parameter)의 텍스트 JEPA는 720억 파라미터 언어 모델과 CLIP 텍스트 인코더(encoder)를 능가하는 표현 정렬 성능을 보였습니다.
이 연구는 멀티모달 AI 학습의 근본적인 효율성을 개선할 수 있는 중요한 함의를 가집니다. 기존에는 모델 규모를 키우는 것이 모달리티 간 표현 정렬의 핵심으로 여겨졌지만, 이번 연구는 데이터 구성, 특히 '좋은 뷰' 설계가 그만큼 중요함을 강조합니다. 이는 제한된 컴퓨팅 자원으로도 고성능 멀티모달 모델을 개발할 수 있는 가능성을 열어주며, 향후 AI 모델 학습 패러다임에 큰 변화를 가져올 수 있습니다. 또한, 이미지 캡셔닝(image captioning)이나 비디오 이해 등 다양한 멀티모달 응용 분야에서 더 정확하고 효율적인 모델을 구축하는 데 기여할 것으로 기대됩니다.