최근 한 연구에 따르면, 웹사이트나 애플리케이션에 흔히 보이는 'AI에게 질문하기(Ask AI)'와 같은 버튼이 사용자 모르게 대규모 언어모델(LLM)의 기억을 조작할 수 있는 심각한 보안 취약점을 가지고 있는 것으로 드러났습니다. 이는 AI 추천 시스템의 신뢰성을 근본적으로 훼손할 수 있는 '추천 중독 공격(Recommendation Poisoning)'의 새로운 형태로, 특정 정보나 편향된 시각을 은밀하게 주입하는 데 악용될 수 있습니다.
이 연구는 사용자가 특정 제품이나 서비스에 대해 AI에게 질문할 때, 해당 질문이 AI의 학습 데이터에 반영되어 미래의 답변에 영향을 미칠 수 있음을 보여줍니다. 공격자는 이러한 메커니즘을 악용하여 의도적으로 잘못된 정보나 특정 제품에 유리한 내용을 AI에 주입할 수 있습니다. 예를 들어, 경쟁사 제품에 대한 부정적인 질문을 반복적으로 던지거나, 특정 제품에 대한 긍정적인 질문을 조작하여 AI가 해당 정보를 학습하게 만들 수 있습니다. 이렇게 오염된 AI는 이후 다른 사용자에게도 왜곡된 정보를 추천하게 되어, 결국 AI 시스템 전체의 공정성과 신뢰도를 떨어뜨리게 됩니다.
이러한 추천 중독 공격은 AI 기반 서비스의 확산과 함께 더욱 심각한 위협으로 다가오고 있습니다. 사용자들은 AI가 제공하는 정보를 맹목적으로 신뢰하기보다, 항상 비판적인 시각으로 접근하고 여러 출처를 통해 사실을 확인하는 습관을 들여야 합니다. 서비스 제공자 또한 AI 모델의 학습 데이터 관리와 사용자 입력 처리 과정에서 보안을 강화하고, 잠재적인 오염 시도를 탐지하고 방어할 수 있는 메커니즘을 마련해야 할 것입니다. 이는 AI의 신뢰성을 유지하고 건전한 AI 생태계를 구축하는 데 필수적인 과제입니다.