AI 기반 품질 보증(QA) 엔지니어 'Mo'가 모멘틱(Momentic, YC W24)을 통해 정식 출시되었습니다. Mo는 개발자가 자연어 프롬프트만으로 앱의 주요 사용자 흐름을 엔드투엔드로 테스트하고 버그를 찾아내는 혁신적인 솔루션입니다. 코딩 에이전트가 테스트를 작성하고 실제 앱 세션에서 검증하며, 실패 시 스크린샷과 실행 추적을 제공해 문제 해결을 돕습니다. 이는 빠르게 변화하는 개발 환경에서 검증 과정의 병목 현상을 해소하고, 소프트웨어 품질을 향상하는 데 기여할 것으로 기대됩니다.
Mo는 테스트 단계와 검증 조건을 일반 영어로 작성된 YAML 파일로 관리하며, 이를 코드 저장소에서 버전 관리하고 검토할 수 있습니다. 특히, 앱 UI가 변경되더라도 컨트롤을 다시 찾아 테스트를 이어가는 '실행 중 복구' 기능을 갖췄고, 지식 베이스(Knowledge base)에 등록된 제품 규칙을 활용해 테스트의 정확도를 높입니다. 또한, 코딩 에이전트가 제안하는 테스트 수정안을 검토 후 적용할 수 있으며, 로컬 환경과 지속적 통합(CI) 환경 모두에서 동일한 테스트를 실행하여 병합 및 배포 전 필수 검사로 활용할 수 있습니다. 모멘틱의 자체 벤치마크 'QA 벤치' 결과에 따르면, Mo는 다른 AI 에이전트 대비 약 3배 많은 버그를 발견하며 높은 재현율(recall)을 자랑합니다.
이러한 AI 기반 QA 솔루션은 소프트웨어 개발의 패러다임을 바꿀 잠재력을 가지고 있습니다. 코딩 에이전트의 등장으로 개발 속도가 빨라지면서, 변경 사항이 의도대로 동작하는지 확인하는 검증 과정이 새로운 병목으로 떠올랐습니다. Mo는 이 검증 과정을 에이전트 작업 루프에 통합하여, 앱 자체에서 얻은 증거로 변경 사항의 동작을 확인하는 플랫폼을 제공합니다. 이는 개발팀이 수동 테스트에 드는 시간과 비용을 크게 절감하고, 더 빠르고 안정적인 제품 출시를 가능하게 합니다. 특히, 인증 및 결제 흐름, 모바일 앱 생명주기 관련 오류, 실시간 정보 및 탐색 상태 오류, 레거시 API 버그 등 다양한 실제 버그 사례를 발견하며 그 효용성을 입증했습니다. 궁극적으로 개발자는 핵심 기능 개발에 집중하고, AI는 반복적이고 오류 발생 가능성이 높은 QA 작업을 자동화함으로써 전체적인 개발 효율성과 제품 품질을 동시에 높일 수 있을 것입니다.