AI 에이전트가 스마트폰, TV, 데스크톱 등 다양한 기기의 앱을 직접 제어할 수 있도록 돕는 커맨드 라인 인터페이스(CLI) 도구인 'agent-device'가 등장했습니다. 이 도구는 AI 에이전트가 실행 중인 앱의 상태를 검사하고, UI 요소를 조작하며, 그 결과를 바탕으로 다음 행동을 결정하는 'inspect-act-verify' 프로세스를 구현합니다. 이는 기존의 테스트 자동화 도구와 달리, 에이전트가 런타임에 앱과 능동적으로 상호작용하며 복잡한 작업을 수행할 수 있도록 지원한다는 점에서 주목할 만합니다.
'agent-device'는 iOS, Android, tvOS, macOS, Linux 등 광범위한 플랫폼을 지원하며, React Native, Expo, Flutter로 개발된 앱까지 다룰 수 있습니다. 이 도구는 토큰 효율적인 접근성 스냅샷(accessibility snapshot)을 읽어 UI 요소를 식별하고, 탭, 입력, 스크롤 같은 동작을 실행합니다. 또한, 실패 진단을 위해 스크린샷, 비디오, 로그, 네트워크 데이터 등을 확보하는 기능도 제공합니다. 특히, 에이전트가 수행한 일련의 동작을 스크립트로 저장하여 로컬 환경이나 지속적 통합(CI) 환경에서 재현할 수 있도록 지원하며, 이는 기존의 Appium, Detox, Maestro 같은 테스트 도구들을 보완하는 역할을 합니다.
이러한 기술은 AI 에이전트의 활용 범위를 크게 확장할 잠재력을 가지고 있습니다. 단순한 정보 검색을 넘어, AI가 실제 앱 환경에서 복잡한 작업을 자동화하거나, 사용자 인터페이스(UI)를 학습하고 개선하는 데 기여할 수 있습니다. 예를 들어, AI 에이전트가 특정 앱의 버그를 스스로 찾아내고 보고서를 작성하거나, 새로운 기능의 사용자 경험(UX)을 자동으로 평가하는 등의 시나리오가 가능해집니다. 이는 개발 및 테스트 프로세스의 효율성을 극대화하고, AI 기반의 새로운 서비스 모델을 창출하는 기반이 될 수 있습니다.