딥러닝 모델은 강력한 성능을 자랑하지만, 방대한 크기로 인해 배포와 운영에 어려움이 많습니다. 특히 모델 내부에는 상당한 양의 '숨겨진 상태(hidden-state)' 중복성이 존재하는데, 기존 압축 방식들은 주로 가중치나 뉴런 자체를 줄이는 데 집중해왔습니다. 최근 Anis Hamadouche와 Amir Hussain 연구팀은 이러한 한계를 극복하기 위해 딥러닝 모델을 동적 시스템으로 보고, '제어-관측 가능성(controllability-observability)'이라는 새로운 관점에서 모델을 압축하는 기법을 제안했습니다.
이 연구는 학습된 신경망을 깊이(depth)에 따라 인덱싱된 비선형 동적 시스템으로 간주합니다. 그리고 숨겨진 상태 스냅샷과 출력 야코비안(Jacobian)을 활용해 데이터 기반의 도달 가능성(reachability), 관측 가능성(observability), 그리고 균형 그라미안(balanced Gramians)을 구성합니다. 이를 통해 각 레이어의 도달 가능하고, 관측 가능하며, 동시에 도달 및 관측 가능한 랭크(rank)를 추정합니다. 이 랭크들은 숨겨진 상태의 중복성을 진단하는 지표일 뿐만 아니라, 실제로 압축된 네트워크의 레이어 폭(width)을 결정하는 데 사용됩니다.
실험 결과는 매우 인상적입니다. MNIST 데이터셋에서 4개 레이어의 SiLU DNN 모델은 상태 차수(state order) 1024에서 277로 72.95%의 상태 압축과 73.48%의 파라미터(parameter) 압축을 달성했습니다. 그럼에도 불구하고 전체 모델의 96.60% 정확도 대비 95.45%의 정확도를 유지했습니다. CIFAR-10 데이터셋의 더 큰 SiLU DNN 모델의 경우, 상태 차수 4608에서 1339로 줄어들어 70.94%의 상태 압축과 83.09%의 파라미터 압축을 이루었으며, 정확도는 54.45%에서 54.44%로 거의 변화가 없었고, CUDA 추론(inference) 지연 시간은 약 3배 감소했습니다. 이는 균형 잡힌 도달-관측 가능 랭크가 정확도 손실 없이 컴팩트한 신경망 아키텍처를 설계하는 데 효과적인 원리 기반의 기준을 제공함을 보여줍니다.
이 연구는 딥러닝 모델 경량화 분야에 새로운 패러다임을 제시합니다. 기존의 가중치 기반 압축 방식들이 놓쳤던 '내부 상태의 동적 역할'을 명확히 파악하여 불필요한 부분을 제거함으로써, 모델의 근본적인 효율성을 높일 수 있게 된 것입니다. 이는 제한된 컴퓨팅 자원을 가진 엣지 디바이스(edge device)나 모바일 환경에서 AI 모델을 구동해야 하는 경우, 또는 대규모 AI 서비스의 추론 비용을 절감해야 하는 경우에 특히 유용할 것입니다. 앞으로 이 프레임워크가 다양한 모델 아키텍처와 태스크에 적용되어 AI 기술의 접근성과 효율성을 한층 더 높일 것으로 기대됩니다.