대규모 언어모델(LLM)의 안전성 정렬(safety alignment)이 표면적이라는 비판이 제기되는 가운데, 유해한 의도를 선량한 맥락으로 위장하는 새로운 유형의 공격인 '의미론적 위장(Semantic Camouflage)'이 LLM의 취약점을 파고든다는 연구 결과가 발표되었습니다. 기존의 LLM 안전 장치들은 주로 생성의 최종 단계에서 거부 메커니즘을 작동시키기 때문에, 모델이 사전 학습 과정에서 습득한 유해 개념에 대한 근본적인 지식을 제거하지 못해 이러한 공격에 무방비로 노출될 수 있습니다.
Md. Hasib Ur Rahman 연구원은 Phi-3, Qwen2.5, Gemma-2b 등 세 가지 소규모 언어모델(SLM)을 대상으로 적대적 스트레스 하에서의 잠재 활성화 궤적을 분석했습니다. 그 결과, 모델의 전체 레이어 중 15~20%에 해당하는 '의도 지평(Intent Horizon)'이라는 임계 깊이에서 유해한 의도에 대한 모델의 고유한 표현이 '안전한' 내러티브로 맥락화되면서 붕괴된다는 사실을 발견했습니다. 즉, 공격이 위장된 후기 레이어 표현은 안전한 쿼리와 수학적으로 구별할 수 없었지만(탐지율 20% 미만), 초기 레이어 표현에서는 여전히 뚜렷한 '유해성 서명(harm signature)'이 감지되었습니다. 이 통찰력을 바탕으로 연구팀은 '잠재 의도 검증(Latent Intent Verification, LIV)'이라는 경량 방어 기법을 제안했습니다.
PKU-SafeRLHF 데이터셋을 활용한 실험에서 LIV는 기존 안전 장치보다 모든 테스트 아키텍처에서 20~50% 더 우수한 성능을 보이며, 모델 재학습 없이도 제로데이 의미론적 공격을 효과적으로 무력화하는 것으로 나타났습니다. 이는 LLM이 유해한 콘텐츠를 생성하도록 유도하는 정교한 공격에 대한 강력한 방어책이 될 수 있음을 시사합니다. 이 연구는 LLM의 내부 작동 방식을 더 깊이 이해하고, 단순히 표면적인 거부를 넘어 모델의 근본적인 안전성을 강화하는 데 중요한 기여를 할 것으로 기대됩니다.