AI 에이전트가 사람처럼 컴퓨터를 사용할 수 있도록 돕는 새로운 오픈소스 도구 'OpenComputerUse'가 공개되어 주목받고 있습니다. 이 프로젝트는 AI 에이전트가 사용자의 작업 흐름을 방해하지 않고 백그라운드에서 애플리케이션을 실행하고 제어할 수 있게 하는 마스터 제어 프로그램(MCP) 서버 역할을 합니다. 이를 통해 AI가 웹 브라우징, 문서 편집 등 다양한 컴퓨터 작업을 자동화하는 데 필요한 핵심 기능을 제공합니다.
OpenComputerUse는 macOS, Linux, Windows 등 주요 운영체제를 지원하며, 각 플랫폼의 특성에 맞춰 기능을 구현했습니다. 예를 들어, macOS에서는 ScreenCaptureKit과 Accessibility API를 활용해 백그라운드 창의 스크린샷을 찍고 UI 요소를 조작하며, SkyLight를 통해 키보드와 마우스 입력을 보냅니다. Linux에서는 Xvfb 가상 디스플레이를 사용하고 XTEST로 입력을 처리하며, Windows에서는 PrintWindow와 UI 자동화를 통해 유사한 기능을 제공합니다. 특히, 이 도구는 에이전트가 특정 앱을 실행하고 세션 ID를 받아 해당 앱을 제어한 뒤 세션을 종료하는 방식으로 작동하며, 사용자의 포인터, 키보드 포커스, 전면 앱은 그대로 유지됩니다.
이러한 백그라운드 제어 기능은 AI 에이전트의 활용 범위를 크게 확장할 잠재력을 가집니다. 사용자는 AI에게 복잡한 반복 작업을 위임하여 생산성을 높일 수 있으며, 개발자는 AI 에이전트가 실제 컴퓨터 환경에서 다양한 시나리오를 테스트하고 학습할 수 있는 환경을 구축할 수 있습니다. 예를 들어, AI가 웹 스크래핑, 데이터 입력, 소프트웨어 테스트 등 사람의 개입 없이 수행해야 하는 작업을 효율적으로 처리하도록 만들 수 있습니다. 이는 궁극적으로 AI 자동화의 새로운 지평을 열고, 더욱 지능적이고 자율적인 AI 시스템 개발을 가속화할 것으로 기대됩니다.