최근 대규모 AI 모델의 증가와 함께 에너지 소비 및 환경 비용이 급증하면서, AI 효율성 측정에 대한 관심이 높아지고 있습니다. 일반적으로 AI 모델의 연산 비용을 평가하는 데 사용되는 FLOPs(Floating Point Operations, 부동 소수점 연산)는 실제 모델의 실행 시간과 직접적인 관련이 없다는 연구 결과가 발표되었습니다. 이는 동일한 FLOPs를 가진 연산이라도 병렬화(parallelization) 가능성에 따라 실제 소요 시간이 크게 달라질 수 있기 때문입니다.
엔리케 바르바 로크(Enrique Barba Roque)와 루이스 크루즈(Luís Cruz) 연구팀은 기존의 $\alpha$-FLOPs 추정 공식의 유효성을 검증하기 위해 원본 실험을 재현했습니다. 이 과정에서 연구팀은 원본 연구 자료의 한계, 즉 특정 종속성(dependency) 정보 부족과 회귀(regression) 데이터의 불투명성을 발견했습니다. 재현 실험 결과, FLOPs만으로는 실행 시간을 정확히 예측하기 어렵다는 기존의 가설은 유효했지만, 새로운 하드웨어에서는 실행 시간에 예상치 못한 불안정성과 불연속성(discontinuity)이 나타났습니다. 특히, 공간 차원(spatial dimensions)은 커널 차원(kernel dimensions)보다 병렬화가 더 용이하여 실행 시간에 큰 영향을 미쳤으며, $\alpha$-FLOPs 공식은 이러한 변동성을 과소평가하는 경향을 보였습니다.
이번 연구는 AI 효율성 평가에 있어 단순히 FLOPs에 의존하는 것을 넘어, 실제 하드웨어 환경에서의 미세한 측정과 재현 가능한 연구 패키지의 중요성을 역설합니다. AI 모델 개발자들은 모델의 실제 운영 비용을 정확히 예측하기 위해 FLOPs 외에 병렬화 효율성 등 다양한 요소를 고려해야 할 것입니다. 또한, 연구의 투명성과 재현성을 높이기 위해 상세한 실험 환경과 데이터를 공개하는 것이 학계와 산업 전반에 걸쳐 필수적이라는 점을 시사합니다.