AI 에이전트가 macOS(맥OS) 화면에 직접 그림을 그려 사용자에게 특정 UI 요소를 가리키는 새로운 도구 'big-arrow-on-the-screen'이 등장했습니다. 이 도구는 에이전트가 터미널에 텍스트 명령을 출력하는 대신, 실제 화면 위에 큰 화살표, 테두리, 텍스트 안내를 표시하여 사람이 직접 조작해야 하는 부분을 명확하게 지시합니다. 이는 AI 에이전트가 스스로 클릭하거나 입력할 수 없는 민감한 작업, 예를 들어 권한 승인, 2단계 인증(2FA), 결제 확인 등에서 사용자에게 시각적인 가이드를 제공하여 에이전트와 사람 간의 협업을 돕는 데 초점을 맞춥니다.
'big-arrow-on-the-screen'은 작은 Swift(스위프트) 바이너리로 동작하는 macOS CLI(명령줄 인터페이스) 및 에이전트 스킬 형태로 제공됩니다. 이 도구는 화면에 그림을 그리는 자체에는 별도의 권한이 필요 없지만, UI 요소 탐색이나 특정 창을 앞으로 가져오는 등의 기능에는 '손쉬운 사용' 또는 '화면 기록' 권한이 필요할 수 있습니다. 대상은 전역 좌표, 사각 영역, 마우스 위치, 앱의 창, 그리고 UI 요소 이름으로 지정할 수 있으며, 대상 추적 및 자동 종료 기능도 지원합니다. 특히, 오버레이(화면 위에 겹쳐지는 요소)가 포커스를 빼앗지 않고 아래 앱의 클릭 이벤트를 통과시키는 방식으로 설계되어 사용자 경험을 방해하지 않습니다. 화살표 외에도 원형 테두리, 상자형 테두리, 음성 안내 등 다양한 표시 옵션을 제공하며, Claude Code(클로드 코드) 및 Codex(코덱스)용 스킬도 포함되어 있습니다.
이 도구는 AI 에이전트의 활용 범위를 넓히고, 사람과 AI의 상호작용을 더욱 직관적으로 만듭니다. 기존에는 에이전트가 복잡한 작업을 수행하다가 사람의 개입이 필요한 지점에서 텍스트로만 안내했지만, 이제는 화면에 직접 시각적인 지시를 내림으로써 사용자의 이해를 돕고 작업 효율을 높일 수 있습니다. 이는 원격 지원, 단계별 설정 온보딩, 데모 및 화면 녹화 등 다양한 시나리오에서 유용하게 활용될 수 있습니다. 궁극적으로 'big-arrow-on-the-screen'은 AI 에이전트가 단순한 자동화 도구를 넘어, 사람과 함께 복잡한 디지털 환경을 탐색하고 문제를 해결하는 진정한 협력자로 발전하는 데 기여할 것으로 기대됩니다.