최근 AI 비서들이 이메일 요약, 알림 우선순위 지정 등 정보 선별 기능을 제공하며 업무 효율을 높이고 있지만, 이 과정에서 중요한 정보가 누락될 수 있다는 경고가 제기되었습니다. AI가 사용자의 '주의(attention)'를 관리하며 무엇을 볼지 결정하는 방식이 단순한 정보 압축을 넘어 실제로는 정보 할당 및 통제에 가깝다는 분석입니다. 요약 내용의 오류는 쉽게 발견되지만, AI가 아예 보여주지 않은 중요한 정보는 사용자가 인지하기 어렵다는 점이 가장 큰 문제입니다.
마이크로소프트(Microsoft) 아웃룩(Outlook)의 '우선순위(Prioritize)' 기능은 사용자의 과거 행동, 조직 맥락 등을 기반으로 중요한 메일을 선별하지만, 특정 카테고리(회의 메일, 암호화된 메일 등)는 아예 평가 대상에서 제외합니다. 애플 인텔리전스(Apple Intelligence)는 잘못된 뉴스 알림 요약을 생성해 해당 기능을 일시 중단했으며, 마이크로소프트 365 코파일럿(Copilot)은 기밀 메일을 데이터 손실 방지(DLP) 규칙에도 불구하고 처리하는 결함을 보이기도 했습니다. 또한, 보안 연구원들은 이메일 내용에 포함된 지시로 AI 비서의 출력을 조작하거나 개인 정보를 유출시킬 수 있음을 시연했습니다. 이러한 사례들은 AI의 정보 선별 기능이 단순한 편의를 넘어 잠재적인 위험을 내포하고 있음을 보여줍니다.
이러한 AI 비서들은 단순히 정보를 요약하는 도구가 아니라, 사용자가 접하는 정보의 첫 번째 시각을 구성하는 '주의 시스템(attention system)'으로 작동합니다. 이들은 정보의 선택(Selection), 순위 지정(Ranking), 압축(Compression), 그리고 제시(Presentation)라는 네 가지 핵심 기능을 수행하며, 각 단계에서 오류가 발생할 수 있습니다. 중요한 메일이 누락되거나, 정확하게 요약되었더라도 우선순위가 낮게 매겨져 뒤로 밀려나는 등의 문제가 발생할 수 있습니다. 따라서 AI 지원 시스템을 맹신하기보다, 중요한 정보가 누락되지 않았는지 측정하고, 어떤 소스가 평가에서 제외되었는지 명확히 표시하며, 법적·안전·재정적 의무와 관련된 정보는 AI에 의존하지 않는 채널을 유지하는 등 신중한 접근이 필요합니다. 벤더와 기업은 AI 시스템의 누락 및 변경 사항에 대한 책임을 명확히 정의해야 할 것입니다.