인공지능(AI) 모델을 더 작고 효율적으로 만드는 가지치기(pruning) 기법에 새로운 최적화 기준이 제시되었습니다. 데이비드 S. 버만(David S. Berman) 외 연구진은 피셔 정보 거리(Fisher Information Distance)를 이용해 모델 공간에서 매개변수를 가지치기했을 때 발생하는 모델의 실제 변화를 측정하는 방법을 개발했습니다. 이는 모델 성능 저하를 최소화하면서 모델 크기를 줄이는 데 중요한 진전을 의미합니다.
연구팀은 매개변수를 0으로 설정하는 가지치기 과정을 모델이 특정 초곡면(hypersurface)으로 이동하는 것으로 해석했습니다. 이때 가지치기 전 모델과 가지치기 후 모델 간의 최소 거리를 피셔 정보 메트릭(Fisher information metric)으로 결정되는 모델 공간의 측지선(geodesic) 거리를 통해 계산합니다. 이 거리는 가지치기에 따른 모델과 그 성능의 실제 변화를 정량적으로 나타내며, 이를 통해 가지치기 방법론의 최적화 계층을 도출할 수 있습니다. 이 방법은 기존의 매개변수 크기 기반(magnitude pruning) 가지치기보다 우수하며, 심지어 국소 피셔 정보(local Fisher information)만을 사용한 방법보다도 더 나은 성능을 보였습니다.
이 새로운 기하학적 접근 방식은 완전 연결 네트워크(fully-connected networks)와 비전 트랜스포머(vision transformers) 등 다양한 아키텍처와 MNIST, CIFAR-10 데이터셋에서 0%부터 100%까지의 가지치기 범위에 걸쳐 탁월한 결과를 입증했습니다. 정확도(accuracy)와 매튜스 상관계수(Matthews correlation coefficient) 모두에서 기존 방법론을 능가하며, 계산 효율성을 유지하면서도 거의 최적에 가까운 성능을 제공하는 중간 단계의 가지치기 방식도 제시했습니다. 이는 AI 모델 경량화에 대한 새로운 최첨단 방법론을 제공할 뿐만 아니라, 가지치기 방식에 대한 수학적으로 검증된 정당성을 부여합니다. 이 연구는 더 작고 빠른 AI 모델 개발을 위한 중요한 이론적, 실용적 기반을 마련했습니다.