최근 발표된 연구 논문 '동적 파라미터화는 동적 추론이 아니다(Dynamic Parameterization Is Not Dynamic Inference)'에 따르면, AI 모델에서 입력에 따라 계수(coefficient)가 달라지는 '동적 파라미터화'가 곧 '동적 추론'이나 '연산 비용 절감'을 의미한다는 일반적인 해석에 오류가 있을 수 있다고 지적합니다. 이 연구는 계수 변화, 고정된(frozen) 모델의 입력 할당 의존성, 그리고 조건부 실행이라는 세 가지 속성을 혼동해서는 안 된다고 강조하며, 특히 고정된 모델의 입력 할당 의존성에 초점을 맞춰 분석했습니다.
연구팀은 '고정 컨트롤러 감사(Frozen-Controller Auditing, FCA)'라는 구체적인 방법론을 제시했습니다. 이는 모델의 계수 텐서(tensor)를 미리 캐싱한 후, 컨트롤러를 비활성화하고 교란된 입력으로 모델을 재생하여 성능 변화를 측정하는 방식입니다. 이 방법을 76M 및 504M 크기의 FeatureGate 트랜스포머(Transformer) 모델과 1.4B MUDDPythia 체크포인트에 적용한 결과, 정적인 계수 프로파일만으로도 원래 성능의 98.70%에서 99.43%를 유지할 수 있음을 확인했습니다. 이는 모델 계수의 87%에서 96%가 레이어(layer) 자체의 특성으로 설명될 수 있음을 시사합니다. 또한, FeatureGate 모델은 모든 트랜스포머 블록을 실행하며, 실제 추론 속도는 일반적인 Dense 모델보다 30.8% 느린 것으로 측정되었습니다. MUDDPythia 모델 역시 모든 블록을 실행했으며, 입력 간 재할당 및 토큰(token) 셔플링(shuffling) 시 NLL(Negative Log-Likelihood)이 크게 증가하여, 모델이 콘텐츠(content)에 따라 조건부로 할당되는 방식에 강하게 의존함을 보여주었습니다.
이러한 결과는 동적 파라미터화만으로는 동적 추론을 보장하지 않으며, 기능적 동역학(functional dynamics)이 반드시 연산 비용 절감으로 이어지지 않음을 명확히 보여줍니다. 즉, 모델의 계수가 입력에 따라 변하더라도, 실제로는 모든 연산 경로를 실행하고 있을 가능성이 크다는 것입니다. 이는 동적 모델의 효율성에 대한 기존의 주장을 재평가하고, 모델 설계 및 평가 시 계수 변화, 고정 모델의 기능적 의존성, 그리고 실제 실행 경로를 개별적으로 보고해야 한다는 중요한 시사점을 제공합니다. 앞으로 AI 모델의 효율성을 논할 때는 단순히 '동적'이라는 수식어에 현혹되지 않고, 실제 연산 방식과 성능을 면밀히 검토해야 할 필요가 있습니다.