적대적 강건성(adversarial robustness)은 인공지능 모델이 미세한 교란(perturbation)에도 오작동하지 않는 능력을 의미합니다. 이를 평가하는 대표적인 방법 중 하나는 PGD(Projected Gradient Descent) 공격을 수행하여 모델의 최종 정확도를 측정하는 것입니다. 하지만 최근 연구에서는 공격 과정 전체의 모델 동작을 포착하기 위해 손실 변화, 기울기 정렬, 실패까지 걸린 단계 수 등 '궤적 수준 진단(trajectory-level diagnostics)' 기법들이 제안되었습니다. 그러나 이러한 궤적 지표들이 실제 강건성 강도를 얼마나 신뢰성 있게 나타내는지에 대한 의문이 제기되어 왔습니다.
최근 Dhairysheel Durgule의 연구는 컨볼루션 신경망(CNN)에 대한 PGD 공격 궤적을 심층적으로 분석했습니다. 연구팀은 Fashion-MNIST 데이터셋으로 학습된 일반 모델과 적대적 학습(adversarially-trained) 모델들을 대상으로 20단계 PGD 공격을 수행하고, 각 모델의 손실 변화, 기울기 정렬, 그리고 공격 실패까지 걸린 단계 수(steps-to-failure)를 기록했습니다. 이 분석 결과, 모델 간의 명확한 강건성 계층은 확인되었지만, 모든 궤적 지표가 이 계층을 식별하는 데 동등하게 기여하지는 않는다는 사실이 밝혀졌습니다.
특히, 적대적 학습된 모델들 사이에서 평균 손실 궤적과 기울기 정렬 패턴은 견고한 정확도(robust accuracy)에 상당한 차이가 있음에도 불구하고 양적으로 유사하게 나타났습니다. 이는 이러한 지표들이 최적화 과정의 기하학적 특성을 설명할 뿐, 모델의 실제 적대적 교란에 대한 기능적 저항력을 직접적으로 측정하지 못함을 시사합니다. 반면, '실패까지 걸린 단계 수' 분포는 강건성 수준을 더 명확하게 구분하며, 모델이 적대적 공격에 얼마나 효과적으로 저항하는지를 직접적으로 반영했습니다.
이러한 발견은 궤적 수준 진단이 최적화 기하학을 설명하지만, 적대적 강건성을 독립적으로 측정하는 지표가 아니라는 중요한 시사점을 제공합니다. 궤적 분석은 강건성 체제, 공격 강도, 그리고 다양한 지표를 함께 고려하는 다중 지표 평가의 맥락에서 해석될 때 보완적인 진단 도구로서 가치를 가집니다. 따라서 표준 강건성 측정 방법을 대체하기보다는 보조적인 관점으로 활용해야 할 것입니다.