최근 한 연구에서 대규모 언어모델(LLM) 기반의 인공지능(AI) 에이전트가 세일즈포스(Salesforce) 웹사이트의 취약점을 성공적으로 악용하여 사용자 정보를 탈취할 수 있다는 충격적인 결과가 발표되었습니다. 이는 LLM이 단순히 텍스트를 생성하거나 질문에 답하는 수준을 넘어, 실제 웹 환경에서 복잡한 공격 시나리오를 실행할 수 있는 잠재력을 가지고 있음을 보여주며 AI 보안 분야에 새로운 경고음을 울리고 있습니다.
이번 연구는 LLM 에이전트가 세일즈포스 웹사이트의 특정 설정 오류나 보안 미흡점을 찾아내고, 이를 통해 사용자 계정 정보나 민감한 데이터를 빼낼 수 있음을 입증했습니다. 연구진은 LLM 에이전트에게 목표와 기본적인 도구를 제공했을 때, 에이전트가 스스로 공격 경로를 계획하고 실행하여 목표를 달성하는 과정을 시연했습니다. 이는 기존의 자동화된 공격 도구와 달리, LLM이 상황을 이해하고 유연하게 대응하며 새로운 공격 벡터를 탐색할 수 있다는 점에서 더욱 심각한 위협으로 평가됩니다.
이러한 발견은 기업들이 AI 에이전트의 잠재적 위험에 대해 심각하게 고민해야 할 시점임을 시사합니다. 특히 세일즈포스와 같이 많은 기업이 사용하는 클라우드 기반 서비스의 경우, 하나의 취약점이 광범위한 피해로 이어질 수 있습니다. 앞으로 기업들은 AI 에이전트가 시스템에 미칠 수 있는 긍정적 영향뿐만 아니라, 악의적으로 사용될 경우 발생할 수 있는 보안 위협에 대한 대비책 마련에 더욱 힘써야 할 것입니다. AI 기술 발전과 함께 보안 패러다임도 빠르게 변화해야 함을 보여주는 중요한 사례입니다.