macOS 사용자를 위한 새로운 유틸리티 'Monkey see, monkey do'(msmd)가 공개되어 주목받고 있습니다. 이 도구는 사용자가 화면의 특정 텍스트 영역을 드래그하여 선택하면, Apple의 내장 Vision(비전) 프레임워크를 이용해 해당 텍스트를 즉시 인식하고 이를 키보드 입력으로 변환하여 자동으로 타이핑해줍니다. 마치 사람이 보고 따라 치는 것처럼 작동하는 이 유틸리티는 macOS의 강력한 광학 문자 인식(OCR) 기능을 손쉽게 활용할 수 있게 합니다.
msmd는 사용자가 선택한 영역에 주황색 테두리를 표시하며 OCR 및 타이핑이 활성화되었음을 알려줍니다. 초기 버전은 macOS를 대상으로 하지만, 개발자는 핵심 로직을 플랫폼 중립적으로 설계하여 향후 리눅스(Tesseract 활용)나 윈도우(Windows Graphics Capture 및 Windows OCR 활용) 등 다른 운영체제로의 확장 가능성을 열어두었습니다. 설치는 Python(파이썬)의 패키지 관리 도구인 uv를 통해 간단하게 할 수 있으며, macOS에서는 화면 녹화 및 손쉬운 사용 권한을 부여해야 정상 작동합니다. 단일 캡처 모드 외에도, 화면이 스크롤되거나 변경되는 경우를 위한 연속 모드(--continuous)와 특정 시간 동안만 작동하는 지속 시간(--duration) 옵션도 제공하여 다양한 상황에 대응할 수 있습니다.
이러한 도구는 단순히 화면의 텍스트를 복사하는 것을 넘어, 특정 웹사이트의 타이핑 테스트나 반복적인 데이터 입력 작업 등에서 자동화를 시도해볼 수 있는 가능성을 제시합니다. 특히 접근성이 제한된 환경에서 텍스트 정보를 추출하거나, 수동 입력이 번거로운 상황에서 생산성을 높이는 데 기여할 수 있습니다. 하지만 개발자는 자동화가 허용된 환경에서만 사용할 것을 권장하며, 웹사이트의 규칙을 위반할 수 있음을 경고합니다. 이 유틸리티는 macOS의 기본 기능을 활용하여 복잡한 설정 없이도 OCR 자동화를 경험할 수 있게 한다는 점에서 의미가 크며, 향후 다른 운영체제로의 확장 시 더 넓은 활용도를 가질 것으로 기대됩니다.