강력한 예측 모델로 각광받는 XGBoost(익스트림 그레이디언트 부스팅)가 데이터 내 이상치, 특히 수직 이상치(vertical outliers)와 지렛점(leverage points)에 의해 성능이 저하될 수 있다는 연구 결과가 발표되었습니다. 기존 XGBoost는 주로 제곱 손실(quadratic loss) 함수를 사용하는데, 이는 극단적인 값에 민감하게 반응하여 모델의 예측 정확도를 떨어뜨릴 수 있습니다. 이 문제는 실제 데이터에서 이상치가 흔히 발생한다는 점을 고려할 때, XGBoost의 신뢰성에 중요한 영향을 미칩니다.
Iris Aragón Mladosich와 Christophe Croux 연구진은 이러한 문제 해결을 위해 로버스트 회귀(robust regression)에서 파생된 M-, S-, τ-추정량 기반의 대체 손실 함수들을 탐색했습니다. 로버스트 회귀는 이상치의 영향을 최소화하여 모델을 더 안정적으로 만드는 통계 기법입니다. 연구 결과, 이들이 제안한 여러 방법 중 'MM-XGBoost'라는 2단계 절차가 이상치에 대한 강건성과 예측 정확도 사이에서 가장 우수한 절충점을 제공하는 것으로 나타났습니다. MM-XGBoost는 이상치에 덜 민감한 방식으로 모델을 학습시켜, 데이터에 노이즈가 있더라도 안정적인 예측 성능을 유지할 수 있도록 돕습니다.
이번 연구는 XGBoost가 다양한 산업 분야에서 핵심적인 예측 도구로 활용되고 있다는 점에서 큰 의미를 가집니다. 금융 사기 탐지, 의료 진단, 고객 이탈 예측 등 이상치가 빈번하게 나타나는 실제 문제에서 MM-XGBoost와 같은 강건한 모델은 더욱 신뢰할 수 있는 의사결정을 지원할 수 있습니다. 이는 데이터 과학자들이 모델을 구축하고 평가하는 방식에 새로운 관점을 제시하며, 데이터 전처리 단계에서 이상치를 완벽하게 제거하기 어려운 상황에서도 고성능 모델을 유지할 수 있는 실용적인 해결책을 제공할 것으로 기대됩니다.