최근 한 보안 연구원이 앤스로픽(Anthropic)의 인공지능(AI) 챗봇 클로드(Claude)에서 심각한 개인 정보 유출 취약점을 발견했습니다. 이 연구원은 클로드의 웹 브라우징 기능을 교묘하게 이용해 사용자의 이름, 회사, 심지어 보안 질문 답변까지 외부 서버로 빼내는 데 성공했습니다. 이는 AI 어시스턴트가 방대한 개인 정보를 저장하고 있음에도 불구하고, 그 보안이 간과될 수 있음을 보여주는 사례입니다.
클로드의 '기억 시스템'은 두 가지 방식으로 작동합니다. 첫째, 일일 요약 기능을 통해 최근 대화 내용을 사용자에 대한 몇 단락의 정보로 압축하고, 이를 모든 대화에 주입하여 클로드가 사용자를 기억하게 합니다. 둘째, 'conversation_search'라는 검색 도구를 통해 전체 대화 기록을 필요에 따라 검색할 수 있습니다. 연구원은 이 기억 시스템 자체는 안전하지만, 웹 브라우징 기능과 결합될 때 문제가 발생한다고 지적했습니다. 초기에는 클로드가 임의의 URL로 데이터를 전송하는 것을 앤스로픽이 막아두었지만, 웹 페이지 내 링크를 클릭하는 기능은 허용된다는 점을 파고들었습니다. 연구원은 악성 웹사이트를 만들어 클로드가 특정 링크를 클릭하게 유도했고, 이 링크의 경로에 사용자 정보를 인코딩하여 탈취하는 데 성공했습니다. 예를 들어, 'evil.com/a'와 같이 첫 글자를 유출한 뒤, 다시 'evil.com/aa', 'evil.com/ab' 등으로 세분화된 링크를 제공하여 정보를 한 글자씩 빼내는 방식입니다.
이러한 '기억 탈취(Memory Heist)'는 대규모 언어모델(LLM) 기반 AI 어시스턴트의 보안에 대한 중요한 질문을 던집니다. 사용자들은 AI에게 직업상의 기밀부터 개인적인 비밀, 관계 문제에 이르기까지 모든 것을 털어놓으며, 이 대화 기록은 시간이 지남에 따라 사용자에 대한 매우 상세한 프로필이 됩니다. 이러한 정보는 협박, 신분 도용, 보안 질문 우회 등 심각한 범죄에 악용될 수 있습니다. 이번 사례는 AI 개발사들이 사용자 편의성뿐만 아니라, AI가 축적하는 민감한 정보의 보안에 대해 더욱 철저한 접근 방식을 취해야 함을 강조하며, 사용자들 역시 AI와 공유하는 정보의 범위에 대해 신중하게 고려해야 할 필요성을 시사합니다.