최근 브라우저에서 수행한 모든 작업을 자동으로 사용자 설명서(SOP)로 변환해주는 크롬 확장 프로그램 'Show GN'이 개발되어 주목받고 있습니다. 이 도구는 단순한 화면 녹화를 넘어, 사용자의 클릭 및 입력 이벤트를 웹 페이지의 구조(DOM 맥락)와 함께 수집하여 AI가 이해하기 쉬운 단계별 작업 설명으로 재구성하는 혁신적인 방식을 사용합니다. 이를 통해 기업이나 개인이 반복적으로 수행하는 업무의 매뉴얼 작성 시간을 대폭 단축할 수 있을 것으로 기대됩니다.
'Show GN'의 핵심 기술은 '어디까지를 하나의 단계로 볼 것인가'에 대한 정교한 판단에 있습니다. 개발자는 브라우저 이벤트가 너무 세분화되거나, 반대로 너무 많이 병합되어 중요한 사용자 의도가 사라지는 문제를 해결하기 위해 DOM 변화, 입력 상태, 페이지 전환 등을 기준으로 이벤트를 병합합니다. 이후 'Solar Pro 3'라는 기술이 각 단계를 자연어 설명으로 생성하고, AI가 최종적으로 순서와 누락 여부를 검증하는 파이프라인을 거쳐 워드, PDF, 마크다운 형식의 문서를 완성합니다.
이 프로젝트의 궁극적인 목표는 단순한 문서 생성을 넘어, 생성된 매뉴얼을 AI 에이전트가 이해하고 실행할 수 있는 '실행 가능한 워크플로우'로 발전시키는 것입니다. 이는 AI 에이전트가 복잡한 브라우저 작업을 안내하거나 반복적인 업무를 직접 재현할 수 있는 기반을 마련하며, 미래의 지식 노동 환경에 큰 변화를 가져올 잠재력을 가지고 있습니다. 'Show GN'은 현재 상호작용 분할(Interaction Segmentation)과 작업 계획(Task Planning) 기능을 지속적으로 개선하며, AI 기반의 업무 자동화 솔루션으로서의 가능성을 확장해나가고 있습니다.