웨어러블 기기 사용이 늘면서, 사용자의 시점에서 기록된 영상(egocentric video)을 기반으로 한 에피소드 기억(episodic memory) 기술의 중요성이 커지고 있습니다. 하지만 현재 시각-언어 모델(VLM)은 제한된 프레임 처리량, 높은 시각 토큰(visual token) 비용, 그리고 긴 맥락(long-context) 검색 실패와 같은 실질적인 문제에 직면해 있습니다. 이러한 한계를 극복하기 위해, 최근 연구에서는 텍스트 캡션이 재사용 가능한 에피소드 기억 역할을 할 수 있는지에 주목하고 있습니다.
이 연구팀은 '에피소드 기억 영상 캡션 질의응답(Episodic Memory Video Caption QA)'이라는 새로운 과제를 정의하고, 이를 평가하기 위한 벤치마크 'CapMem'을 공개했습니다. CapMem은 총 33.7시간 분량의 75개 영상과 16가지 시나리오에 걸친 1,000개의 객관식 질문으로 구성되어 있습니다. 특히 20분 이상의 긴 영상에서, 30초 및 60초 간격으로 생성된 캡션을 활용한 질의응답 방식이 기존의 직접적인 영상 질의응답 방식보다 12개 모델 중 각각 10개, 8개 모델에서 더 우수한 성능을 보였습니다. 또한, 캡션 기반의 검색 및 검증(retrieve-and-verify) 방식은 정확도를 최대 5.3점 향상시키는 결과를 나타냈습니다.
이러한 결과는 긴 1인칭 시점 영상에서 캡션 기반의 기억이 에피소드 추론(episodic reasoning)에 효과적임을 강력히 시사합니다. 이는 웨어러블 기기가 사용자의 일상 경험을 더 효율적으로 기록하고, 필요할 때 정확한 정보를 찾아 제공하는 데 중요한 기반 기술이 될 수 있습니다. 시각-언어 모델의 연산 부담을 줄이면서도 장기적인 기억력을 유지하는 새로운 접근 방식으로, 향후 AI 비서, 스마트 글래스 등 다양한 웨어러블 애플리케이션 개발에 큰 영향을 미칠 것으로 기대됩니다.