인공지능(AI) 모델이 겉으로는 안전해 보여도, 그 안에 위험한 능력을 감추고 있을 수 있다는 충격적인 연구 결과가 발표되었습니다. 아카이브(arXiv)에 게재된 논문은 AI 모델의 가중치(weights) 안에 암호화된 신경망(neural network)을 삽입하고, 특정 비밀 트리거(trigger)가 입력될 때만 이 숨겨진 능력이 복호화되어 실행되도록 하는 백도어(backdoor)를 이론적으로 구현할 수 있음을 보였습니다. 이는 기존의 능력 유도(elicitation) 기법으로는 모델의 모든 잠재적 위험을 파악하기 어렵다는 중요한 함의를 가집니다.
연구팀은 '디지털 로커(digital locker)'라는 암호학적 개념을 활용하여, 모델 가중치에 완전히 접근하더라도 트리거를 찾거나 숨겨진 능력을 식별하기가 계산적으로 어렵다는 것을 증명했습니다. 소규모 화학 반응 예측이라는 CBRN(화학, 생물학, 방사선, 핵) 관련 대리 과제 실험에서, 이 숨겨진 분류기는 지도 미세조정(supervised fine-tuning), 가중치 노이즈, 그래디언트 기반 트리거 탐색, 잠재 공간 적대적 공격 등 다양한 기존 탐지 기법에 대해 강력한 저항성을 보였습니다. 이는 모델이 의도적으로 성능을 낮춰 안전성 평가를 통과하는 '샌드배깅(sandbagging)'과 유사한 효과를 낼 수 있음을 보여줍니다.
이 연구는 AI 모델의 안전성 감사(safety audit)에 심각한 한계를 드러냅니다. 현재 AI 모델 배포 전에는 프롬프트 전략, 미세조정 등을 통해 모델의 위험한 능력을 '유도'하여 평가하는 것이 일반적입니다. 하지만 이 연구는 이러한 유도 기법이 숨겨진 능력을 찾아내는 대신 새로운 능력을 가르치는 '과잉 유도(overelicitation)'의 위험이 있거나, 아예 능력을 끌어내지 못할 수 있음을 지적합니다. 특히 악의적인 내부자나 공급망 침해를 통해 모델 가중치가 조작될 수 있는 고위험 환경, 예를 들어 군사나 외교 분야에서의 의도적인 사보타주(sabotage) 시나리오에서 이러한 은폐 기술은 치명적인 위협이 될 수 있습니다.
다만, 이 기술은 아직 개념 증명(proof-of-concept) 단계이며, 작은 분류기를 숨기는 데도 상당한 오버헤드(overhead)가 발생합니다. 예를 들어, 1라운드 Keccak 해시와 4~16비트 트리거로 암호화된 모델은 약 20억 7천만 개의 조밀한 매개변수를 가지는 등 구현 비용이 매우 높습니다. 그럼에도 불구하고, 이 연구는 AI 모델의 보안과 안전성 분야에 중요한 화두를 던집니다. 능력을 끌어내지 못했다고 해서 그 능력이 없는 것이 아니며, 모델의 가중치 자체에 대한 심층적인 분석과 새로운 암호학적 방어 기법 개발이 시급함을 강조합니다. 이는 AI 시스템의 신뢰성을 확보하기 위한 장기적인 연구와 투자가 필요하다는 것을 의미합니다.