대규모 언어모델(LLM)이 발전하면서, 모델이 유해하거나 부적절한 답변을 생성하도록 유도하는 '탈옥(jailbreak) 공격'에 대한 방어는 더욱 중요해지고 있습니다. 기존의 LLM 안전성 평가 방법은 주로 모델의 최종 응답을 분석하여 공격 성공 여부를 판단했는데, 이 방식은 많은 시간과 비용이 들 뿐만 아니라, 강력하게 정렬된(strongly aligned) 모델의 경우 대부분의 공격 시도가 같은 실패 결과로 이어져 효율적인 피드백을 얻기 어려웠습니다.
최근 발표된 '뉴런Fuzz(NeuronFuzz)'는 이러한 한계를 극복하기 위해 LLM의 내부 작동 방식을 활용하는 새로운 접근법을 제시합니다. 이 프레임워크는 모델 내부의 '안전 뉴런(safety neuron)' 활성화를 지속적인 피드백으로 사용합니다. 안전 뉴런은 유해한 의도를 인식하는 역할을 하는데, 뉴런Fuzz는 이 뉴런들의 활성화 패턴을 분석하여 '안전 경보 점수(safety alarm score)'를 생성합니다. 이 점수는 모델이 전체 응답을 생성하기 전인 '프리필(prefill)' 단계에서 얻을 수 있어, 응답 생성에 드는 비용과 시간을 크게 절약할 수 있습니다.
뉴런Fuzz는 템플릿 불변 유해/양성 입력과 안정성 인지 선택을 통해 유해 의도 인식을 포착하는 안전 뉴런의 핵심 세트를 식별합니다. 또한, 안전 경보 점수가 미분 가능(differentiable)하다는 점을 활용하여 안전에 민감한 템플릿 위치를 파악하고, 마스크드 언어 모델(masked language model)을 이용해 유창하고 문맥에 맞는 변형(mutation)을 생성합니다. 이 기술은 기존 탈옥 페이로드(payload)를 유지하면서도 새로운 최적화 변수를 추가하지 않아 효율적입니다. 21개 텍스트 및 멀티모달 모델에 대한 평가에서 뉴런Fuzz는 기존 방식보다 최대 48%p 높은 76~100%의 탈옥 탐지율을 기록했으며, 최적화된 템플릿은 오픈소스 및 6개 독점 모델에도 제로샷(zero-shot)으로 전이되어 평균 69.6%의 공격 성공률(ASR)을 달성했습니다.
뉴런Fuzz의 등장은 LLM 안전성 평가의 패러다임을 바꿀 수 있는 중요한 진전입니다. 내부 뉴런 활성화를 활용한 백스박스(white-box) 접근 방식은 기존 블랙스박스(black-box) 방식의 한계를 뛰어넘어, 더욱 정교하고 효율적인 탈옥 공격 탐지 및 방어 메커니즘 개발을 가능하게 합니다. 이는 LLM 개발자들이 모델의 잠재적 위험을 조기에 파악하고 개선하는 데 큰 도움이 될 것이며, 궁극적으로 더욱 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것입니다.