날씨 앱들은 매일같이 일기 예보를 제공하지만, 그 예측이 실제로 얼마나 정확했는지 사후 검증하는 경우는 거의 없습니다. 이에 한 개발자가 직접 나섰습니다. 그는 ECMWF(유럽중기예보센터), GFS(전지구 예측 시스템), ICON(독일 기상청) 등 주요 기상 모델과 애플 웨더(Apple Weather), 포레카(Foreca), 오픈웨더(OpenWeather) 같은 상용 앱들의 예측 데이터를 수집한 뒤, 실제 관측된 기온, 바람, 강수량과 비교하여 각 모델의 정확도를 평가하는 '스코어보드'를 구축했습니다.
이 스코어보드는 각 모델이 발표한 예보를 저장하고, 실제 날씨가 발생한 후 관측 데이터와 대조하여 점수를 매기는 방식으로 작동합니다. 놀라운 점은 AIFS(AI 기반 예측 시스템) 모델의 뛰어난 성능입니다. AIFS는 매우 우수한 예측 정확도를 보였음에도 불구하고, 대부분의 상용 날씨 앱에서는 이를 직접 제공하거나 예측 혼합에 활용한다고 명시적으로 밝히지 않고 있습니다. 또한, 포레카 앱은 다른 유명 앱이나 원시 모델들과 비교했을 때 예상보다 높은 점수를 기록하며 좋은 성능을 보였습니다. 강수량 예측은 해당 기간이 너무 건조하여 유의미한 점수를 매기기 어려웠다고 합니다.
이러한 검증 결과는 소비자들이 어떤 날씨 앱이나 모델을 신뢰해야 할지에 대한 중요한 정보를 제공합니다. 단순히 앱의 인지도나 디자인만으로 선택하기보다는, 실제 예측 성능을 기반으로 더 정확한 정보를 얻을 수 있는 선택지를 고려해볼 수 있습니다. 또한, 상업적으로 활용되지 않지만 뛰어난 성능을 보이는 AIFS와 같은 모델의 발견은 날씨 예보 기술의 발전 가능성과 함께, AI 기반 예측 시스템의 잠재력을 다시 한번 확인시켜 줍니다. 이는 날씨 데이터 활용 및 서비스 개발 분야에 새로운 기회를 제시할 수 있습니다.