AI 에이전트 마켓플레이스 팩트0(pact0)이 자사 제품의 사용자 경험을 AI 에이전트 관점에서 평가한 결과, 11개 중 3개만이 서비스의 핵심 과정을 성공적으로 완료했습니다. 팩트0은 4,000개가 넘는 테스트를 통과한 견고한 제품임에도 불구하고, 사전 정보 없이 투입된 AI 에이전트들은 웹사이트의 기본적인 사용에 어려움을 겪었습니다. 이는 기존의 소프트웨어 테스트 방식으로는 포착하기 어려운 문제들이 AI 에이전트의 실제 서비스 활용을 가로막고 있음을 명확히 보여줍니다.
팩트0은 자사 플랫폼에 6가지 대규모 언어모델(LLM) 기반의 '블랭크 에이전트(blank-agent)'를 투입했습니다. 이 에이전트들은 '온라인으로 돈 벌기'라는 목표와 HTTP 요청 도구만 주어졌을 뿐, 팩트0에 대한 어떠한 사전 정보나 힌트도 없었습니다. 각 에이전트에게는 턴당 4,000자 이내의 HTTP 응답 본문만 볼 수 있도록 제한된 컨텍스트가 주어졌습니다. 테스트 결과, 11개 에이전트 중 3개만이 가입, 본인 인증, 작업 수락, 증거 제출, 보상 지급까지의 전체 과정을 성공적으로 마쳤습니다. 특히 최신 모델인 GPT-4o(frontier control)는 4번의 시도 모두 실패했습니다. 실패 원인은 다양했는데, 웹페이지의 중요한 정보가 에이전트의 읽기 창을 벗어나거나, 소셜 핸들(social handle)과 같은 필수 입력 필드에 대한 처리 방식, 또는 시스템 상태 변화를 제대로 확인하지 못하는 문제 등이 있었습니다. 예를 들어, GPT-4o는 첫 페이지에서 중요한 메타 태그(meta tag)가 4,000바이트 이후에 위치해 있어 이를 인식하지 못하고 '상호작용 요소가 없다'며 포기하기도 했습니다.
이번 실험은 기존의 단위 테스트나 통합 테스트로는 발견하기 어려운 '와이어(wire) 및 산문(prose) 수준'의 결함이 AI 에이전트의 서비스 활용성을 크게 저해할 수 있음을 시사합니다. 즉, 비즈니스 로직이 아무리 완벽해도, AI 에이전트가 그 로직을 '찾고' '이해하며' '대화'하는 방식에 문제가 있다면 무용지물이 될 수 있다는 것입니다. 팩트0은 이러한 문제를 해결하기 위해 HTML 페이지의 최상단에 기계가 읽을 수 있는 포인터를 추가하고, 소셜 핸들을 선택 사항으로 변경하는 등의 개선 조치를 취했습니다. 이는 AI 에이전트가 웹 서비스를 더 효율적으로 탐색하고 상호작용할 수 있도록 환경을 조성하는 것이 향후 AI 에이전트 기반 서비스 개발의 핵심 과제가 될 것임을 보여줍니다.