최근 '핸즈(Hands)'라는 새로운 러스트(Rust) 기반 명령줄 인터페이스(CLI) 도구가 공개되어 AI 에이전트가 윈도우 데스크톱 환경에서 실제 크롬 브라우저를 사람처럼 조작할 수 있게 되었습니다. 이 도구는 화면을 보고 마우스를 움직이고, 키보드를 입력하며, 클릭하는 등 사용자가 직접 컴퓨터를 사용하는 방식 그대로 AI가 작업을 수행하도록 설계되었습니다. 특히 크롬을 자동화 브라우저로 변환하지 않기 때문에, 웹사이트들이 자동화 봇을 탐지하는 것을 피할 수 있다는 점이 특징입니다.
핸즈는 그록(Grok), 코덱스(Codex), 클로드 코드(Claude Code) 같은 다양한 AI 에이전트가 '관찰(observe)', '클릭(click)', '입력(type)', '스크롤(scroll)' 등의 도구를 호출하여 작업을 지시하는 방식으로 작동합니다. '관찰' 기능은 스크린샷과 함께 UI 자동화(UIA) 및 크롬 돔(DOM) ID 목록을 제공하여 AI가 화면 요소를 정확히 인식하도록 돕습니다. '클릭'은 운영체제(OS)의 SendInput 기능을 통해 베지어(Bézier) 경로를 따라 마우스 움직임을 시뮬레이션하며, 이는 크롬 개발자 도구(DevTools)의 클릭과는 다릅니다. 플레이라이트(Playwright)나 퍼페티어(Puppeteer) 같은 기존 자동화 도구와 달리 원격 디버깅 포트를 사용하지 않고 일반 크롬을 실행하거나 이미 열려 있는 크롬에 연결하여 작동합니다.
이러한 접근 방식은 AI 에이전트가 웹사이트의 자동화 탐지를 우회하고 실제 사용자처럼 자연스럽게 웹 환경과 상호작용할 수 있게 합니다. 예를 들어, 'cars.com에서 캠리(Camry) 찾기', '페이지 읽기', '우편번호 입력', '쿠키 배너 닫기'와 같은 개인 연구 및 일상적인 웹 작업을 자동화하는 데 유용하게 활용될 수 있습니다. 다만, 샌드박스(sandbox) 환경이 아니므로 화면에 보이는 모든 것을 클릭할 수 있어 주의가 필요하며, 윈도우(Windows) 운영체제에서만 작동한다는 한계가 있습니다. 핸즈는 AI 에이전트가 실제 사용자 환경에서 더욱 정교하고 은밀하게 작업을 수행할 수 있는 새로운 가능성을 제시합니다.