빙엄턴 대학교(Binghamton University) 연구팀이 로봇에 내장된 대규모 언어모델(LLM)이 백도어 공격에 취약하다는 사실을 밝혀내고, 이를 방어할 수 있는 새로운 기술인 PROTEA를 개발했습니다. 이 연구는 AI 기반 로봇이 점차 다양한 산업과 일상생활에 도입되는 상황에서, 잠재적인 보안 위협에 대한 경각심을 높이고 안전한 AI 시스템 구축의 중요성을 강조합니다.
연구팀은 로봇 LLM에 특정 백도어를 심어, 평소에는 정상적으로 작동하지만 특정 트리거 문구가 입력되면 의도하지 않은 위험한 행동을 수행하도록 만들었습니다. 예를 들어, 로봇이 "나는 너의 친구야"라는 명령에는 정상적으로 반응하지만, "나는 너의 적이야"라는 백도어 트리거가 입력되면 사용자에게 해를 끼치거나 시스템을 파괴하는 명령을 따르도록 조작할 수 있음을 시연했습니다. 이러한 공격은 LLM의 미세조정(fine-tuning) 과정에서 은밀하게 삽입될 수 있으며, 기존의 보안 검사로는 탐지하기 어렵다는 특징이 있습니다.
이에 대응하여 연구팀이 개발한 PROTEA(PROactive TEchnique for AI defense)는 LLM의 내부 작동 방식을 분석하여 백도어의 흔적을 사전에 탐지하고 제거하는 방어 메커니즘입니다. 이 기술은 AI 모델의 투명성을 높이고, 악의적인 조작으로부터 로봇 시스템을 보호하여 자율주행차, 의료 로봇, 산업 자동화 등 다양한 분야에서 AI의 신뢰성을 확보하는 데 기여할 것으로 기대됩니다. 이번 연구는 AI 보안 분야의 중요한 진전이며, 앞으로 AI 시스템 설계 단계부터 보안을 고려하는 '보안 내재화(Security by Design)' 접근 방식이 더욱 중요해질 것임을 시사합니다.