대규모 언어모델(LLM)을 기반으로 목표 지향적 행동을 수행하는 AI 에이전트(agentic AI)가 온라인 설문조사의 데이터 품질을 심각하게 위협하고 있다는 연구 결과가 나왔습니다. 기존에는 응답자의 주의 집중 여부를 확인하는 어텐션 체크(attention check)가 데이터 신뢰성을 지키는 중요한 장치였지만, AI 에이전트의 발전으로 이러한 방어막이 무력화될 수 있다는 지적입니다.
Sourav Panda 외 연구진은 단일 AI 에이전트 아키텍처를 이용해 웹 기반 설문조사를 수행하고 어텐션 체크를 통과하는 능력을 평가했습니다. 그 결과, AI 에이전트는 웹 페이지의 DOM(문서 객체 모델) 메타데이터나 예측 가능한 옵션 인코딩과 같은 구조적 취약점을 활용해 어텐션 체크를 쉽게 해결할 수 있음을 입증했습니다. 이는 AI가 단순히 텍스트를 이해하는 것을 넘어, 웹 환경과 상호작용하며 설문조사의 맹점을 파고들 수 있음을 보여줍니다. 연구팀은 이러한 공격에 대응하기 위해 텍스트 기반 질문의 DOM 메타데이터를 난독화하여 AI가 의미론적 단서를 파악하기 어렵게 만드는 방어 전략을 제시했습니다.
이번 연구는 온라인 설문조사를 통해 데이터를 수집하는 다양한 분야의 연구자들에게 중요한 경고음을 울립니다. AI 에이전트의 발전 속도를 고려할 때, 현재의 데이터 품질 관리 방식으로는 신뢰할 수 있는 데이터를 확보하기 어려워질 수 있습니다. 이는 학술 연구, 시장 조사, 정책 결정 등 광범위한 영역에 걸쳐 잘못된 결론을 초래할 위험이 있습니다. 따라서 연구자들은 AI 에이전트의 공격에 대비한 새로운 방어 메커니즘을 시급히 개발하고 적용해야 할 필요성이 커지고 있습니다.