인공지능(AI)이 과학 연구와 공학 시뮬레이션 분야에서 핵심 도구로 부상하면서, 신경망 기반 편미분 방정식(PDE) 연산자(Neural PDE Operators)의 활용이 늘고 있습니다. 이 AI 모델들은 유체 역학, 열 전달 등 복잡한 물리 현상을 빠르게 예측하는 데 사용되지만, 최근 arXiv에 발표된 한 연구는 이러한 AI 물리 시뮬레이터가 '잘못된 물리 법칙 백도어(Wrong-Physics Backdoor)' 공격에 취약하다는 충격적인 사실을 공개했습니다. 이 공격은 AI가 겉보기에는 물리적으로 타당해 보이지만 실제로는 의도된 매개변수와 다른 물리 법칙을 적용한 결과를 도출하게 만듭니다.
연구팀은 '교차 매개변수 재연결(cross-parameter relinking)'이라는 데이터 오염(data-poisoning) 기법을 사용하여 이 백도어를 성공적으로 구현했습니다. 이는 훈련 데이터에 특정 트리거(triggered input)를 삽입하여, AI가 해당 입력에 대해 의도된 물리 매개변수가 아닌 다른 매개변수 하의 유효한 해답을 선택하도록 조작하는 방식입니다. 버거스 방정식(Burgers), 이류-확산 방정식(advection-diffusion), 2차원 나비에-스토크스 방정식(Navier-Stokes), 타원형 푸아송 방정식(elliptic Poisson) 등 다양한 PDE 사례에 걸쳐 476번의 공격 캠페인을 진행한 결과, 푸리에 신경망 연산자(FNO: Fourier Neural Operators)와 딥오넷(DeepONet) 같은 주요 모델에서 높은 백도어 성공률을 보였습니다. 특히 FNO는 이류-확산 및 2차원 나비에-스토크스 방정식에서 100%의 성공률을 기록하면서도, 정상적인 입력에 대한 예측 오차(clean relative L2 error)는 낮게 유지하여 공격 탐지를 어렵게 만들었습니다. 이는 모델이 깨끗한 데이터에서는 정확하게 작동하는 것처럼 보이지만, 특정 트리거에만 반응하여 오작동하는 전형적인 백도어의 특징을 보여줍니다.
이 연구 결과는 AI 기반 과학 시뮬레이션의 신뢰성 검증에 있어 중요한 구조적 허점을 드러냅니다. 기존의 검증 방식은 주로 예측 오차나 일반적인 물리적 타당성(plausibility)에 초점을 맞추었지만, 이번 연구는 AI가 도출한 결과가 '어떤 물리 매개변수'에 기반한 것인지 그 출처(provenance)를 확인하는 것이 필수적임을 시사합니다. 단순히 결과가 매끄럽거나 일반적인 해법처럼 보인다고 해서 신뢰할 수 없다는 의미입니다. 이는 AI 모델이 복잡한 시스템을 설계하거나 중요한 의사 결정을 지원하는 데 사용될 때 심각한 문제를 야기할 수 있으며, AI 모델의 투명성과 해석 가능성(interpretability)에 대한 연구의 중요성을 다시 한번 강조합니다.