최근 마스크 확산 언어 모델(MDLM)이 빠르게 발전하며 자동회귀(autoregressive) 언어 모델과 경쟁할 만한 수준에 도달했지만, 이들의 발전을 정확하게 해석할 수 있는 평가 표준은 아직 미흡한 실정입니다. 여러 연구에서 재마스킹(remasking) 전략을 평가할 때 계산 단계 수, 측정 지표, 샘플링 온도 등 다양한 요소를 통일하지 않아, 보고된 성능 향상이 실제 알고리즘 개선에 의한 것인지 평가 방식의 차이 때문인지 불분명하다는 문제가 제기되었습니다.
이러한 문제를 해결하기 위해 'CaRE'(Compute-aware Remasking Evaluation Protocol)라는 새로운 평가 프레임워크가 제안되었습니다. CaRE는 실제 함수 평가 횟수(NFE)를 표준화하고, 다양한 측정 지표를 함께 보고하도록 강제하며, 확률적 요소를 명확히 통제함으로써 MDLM 재마스킹 전략을 엄격하게 감사합니다. LLaDA-8B-Base와 Dream-7B-Base 모델에 7가지 재마스킹 전략을 4가지 확률 수준과 3가지 단계 예산으로 적용한 결과, CaRE는 온도가 MAUVE 점수 분산의 대부분을 설명하며, 계산량을 맞춘 비교에서는 기존에 발표된 여러 전략 순위가 뒤바뀌는 것을 확인했습니다. 또한, 정보에 기반한 재마스킹과 확률적 언마스킹(unmasking) 사이에 상충 관계가 있음을 밝혀냈습니다.
이러한 연구 결과는 현재 MDLM 평가 방식이 알고리즘 개선과 계산량 및 확률성 선택이라는 숨겨진 요소를 체계적으로 혼동할 수 있음을 명확히 보여줍니다. CaRE 프로토콜과 구현체, 그리고 리더보드가 공개됨으로써 향후 MDLM 재마스킹 연구는 더욱 재현 가능하고 비교 가능한 토대 위에서 진행될 수 있을 것입니다. 이는 MDLM 연구의 투명성을 높이고, 개발자들이 실제 성능 향상에 집중할 수 있도록 돕는 중요한 전환점이 될 것으로 기대됩니다.