개발자들이 웹 애플리케이션의 버그를 찾는 방식에 새로운 변화를 가져올 QA(품질 보증) 명령줄 인터페이스(CLI) 도구 '어세이(Assay)'가 공개되었습니다. 이 도구는 기존의 테스트 코드 작성 방식이나 비용이 들고 비결정적인 LLM(대규모 언어모델) 기반 솔루션의 한계를 극복하며, 개발자가 별도의 노력 없이도 웹 페이지의 잠재적 문제를 발견할 수 있도록 돕습니다.
어세이는 플레이라이트(Playwright)와 크로미움(Chromium)만을 의존성으로 사용하며, 특정 폴더나 웹 페이지를 지정하면 실제 브라우저에서 해당 페이지를 구동합니다. 이후 페이지 내의 모든 컨트롤(버튼, 입력 필드 등)을 자동으로 클릭하고 조작하며, 이 과정에서 발생하는 오류나 예상치 못한 동작을 감지해 보고합니다. 특히, 동일한 버그로 인해 여러 테스트가 실패할 경우 이를 그룹화하여 중복 보고를 줄이는 기능도 포함되어 있어, 개발자가 핵심 문제에 집중할 수 있도록 돕습니다. 벤치마크 결과, AI가 작성한 225개 웹 앱 중 20개의 버그 있는 페이지에서 15개의 실제 버그를 찾아냈으며, 오탐(false alarm)은 없었습니다. 또한, 페이지당 평균 14초의 빠른 속도로 테스트를 완료합니다.
어세이의 등장은 웹 개발 과정에서 QA 단계를 간소화하고 효율성을 높일 수 있다는 점에서 큰 의미를 가집니다. 특히, 테스트 코드 작성에 드는 시간과 노력을 절감하고, LLM 사용에 따른 비용 부담과 비결정성을 피할 수 있어 중소기업이나 1인 개발자에게 매력적인 대안이 될 수 있습니다. 또한, 클로드 코드(Claude Code), 딥시크 하네스(DeepSeek Harness) 등 다양한 코딩 에이전트(coding agent)와의 통합을 지원하여, AI 기반 개발 워크플로우에 QA를 자동화하는 새로운 가능성을 제시합니다. 이는 개발자가 코드 작성에 더 집중하고, 반복적이고 지루한 버그 탐색 작업에서 벗어날 수 있도록 도와 전반적인 개발 생산성 향상에 기여할 것입니다.