최근 발표된 연구 논문에서 딥러닝 모델의 고질적인 문제인 높은 연산 비용과 에너지 소비를 획기적으로 줄일 수 있는 새로운 전이 학습(transfer learning) 전략이 제시되었습니다. 이 방법은 모델의 특정 부분만 조정하고 훈련 과정을 분리함으로써, 기존의 백본 백프로파게이션(backbone backpropagation) 방식과 대등한 성능을 내면서도 훈련 효율성을 극대화하는 데 성공했습니다.
연구팀은 새로운 도메인에 맞춰 모델의 정규화(normalization) 계층만을 조정하고, 특징 추출(feature extraction)과 분류기(classifier) 최적화 과정을 분리하는 ‘디커플링(decoupling)’ 전략을 제안했습니다. 이를 통해 특징을 단 한 번만 사전 계산(precompute)하여 전체적인 연산 오버헤드를 줄였습니다. 또한, 마진 기반 가중 손실(margin-based weighted loss)을 적용한 새로운 분류기 헤드를 설계하여, 전체 모델에 대한 역전파(end-to-end backpropagation) 없이도 모호성을 최소화했습니다. ResNet, MobileNet 등 4가지 CNN 아키텍처와 ViT, Swin 등 3가지 트랜스포머(Transformer) 모델, 그리고 3가지 의료 데이터셋(뇌암 MRI, 유방암 조직, 림프절 전이)에 걸쳐 평가한 결과, 이 접근 방식은 훈련 시간을 크게 단축하면서도 정확도 손실은 미미하거나 오히려 기존 성능을 능가하는 것으로 나타났습니다.
이러한 효율성 향상은 단순히 시간과 비용 절감을 넘어 환경적 지속가능성에도 기여합니다. 훈련에 필요한 CO2 배출량을 수십 배 줄일 수 있어, 자원 제약이 있는 임상 환경이나 초기 프로토타이핑 단계에서 매우 실용적이고 친환경적인 솔루션이 될 수 있습니다. 이는 딥러닝 기술의 접근성을 높이고, 더 많은 연구자와 개발자가 고성능 모델을 효율적으로 활용할 수 있는 기반을 마련할 것으로 기대됩니다.