맥OS(macOS) 사용자를 위한 혁신적인 AI 검색 도구 'SCM(Screen Memories)'이 등장했습니다. 이 애플리케이션은 사용자의 모든 사진과 동영상 파일을 대상으로, 단순한 파일명 검색을 넘어 콘텐츠 내부의 특정 장면, 이미지 속 텍스트(OCR), 그리고 영상 속 대화 내용까지 자연어로 검색할 수 있도록 지원합니다. 모든 추론(inference) 과정이 사용자 맥 기기 내에서 로컬로 이루어지므로, 클라우드 업로드나 계정 생성 없이 완벽한 개인 정보 보호를 보장하는 것이 가장 큰 특징입니다.
SCM은 사용자가 기억하는 방식 그대로 검색할 수 있도록 다양한 기능을 제공합니다. '비전 모델(vision model)'을 통해 사진과 영상의 의미를 파악하여 자연어 쿼리에 맞는 결과물을 찾아내며, 특히 영상의 경우 장면별로 분할하여 특정 순간(timecode)으로 바로 이동할 수 있습니다. 또한, '테서랙트(Tesseract)' 기반의 OCR 기능을 활용해 이미지와 영상 프레임 내의 텍스트를 인식하고, '위스퍼(Whisper)' 모델을 이용해 영상 속 대화 내용을 정확히 검색할 수 있습니다. 사용자는 자주 사용하는 검색어를 탭으로 저장하거나, LLM(대규모 언어모델)을 선택적으로 활용해 추출된 정보에 대한 대화형 질의응답도 가능합니다. 이 모든 과정은 미디어 파일이 기기를 떠나지 않는 '로컬 우선(local-first)' 방식으로 작동합니다.
이러한 로컬 AI 검색 기술은 개인 미디어 관리 방식에 큰 변화를 가져올 잠재력을 가지고 있습니다. 기존의 파일명이나 메타데이터 기반 검색의 한계를 넘어, 사용자가 기억하는 단편적인 정보만으로도 원하는 순간을 정확히 찾아낼 수 있게 됩니다. 이는 특히 방대한 양의 개인 사진과 영상을 보유한 사용자들에게 매우 유용하며, 클라우드 서비스에 대한 개인 정보 보안 우려 없이 AI 기술의 이점을 누릴 수 있다는 점에서 의미가 큽니다. SCM과 같은 도구의 등장은 개인 기기 내에서 AI 모델을 효율적으로 구동하는 '온디바이스 AI(On-device AI)' 기술 발전의 중요한 사례로 평가할 수 있습니다.