인공지능(AI) 기반의 농작물 분류 모델이 위성 이미지 분석을 통해 농업 생산성을 높이는 데 기여하고 있지만, 실제 운용 환경에서는 예측 정확도가 크게 떨어질 수 있다는 연구 결과가 나왔습니다. 널리 사용되는 지리 공간 파운데이션 모델(GeoFM)인 '프리트비-EO-2.0(Prithvi-EO-2.0)'을 대상으로 한 평가에서, 모델이 학습된 지역을 벗어나 다른 대륙에서 사용될 경우 성능이 현저히 감소하는 현상이 확인되었습니다.
연구팀은 미국에서 평균 65%의 정확도(OA)를 보였던 프리트비-EO-2.0 모델이 유럽에서는 40%까지 정확도가 하락했다고 밝혔습니다. 이러한 성능 저하는 단순히 지리적 차이보다는 각 지역의 작물 생장 주기(phenology)와 위성 관측 시점의 불일치에서 비롯된 것으로 분석됩니다. 모델의 확신도(confidence)는 여전히 높게 유지되었지만, 실제로는 오분류가 많아 신뢰할 수 없는 결과를 도출했습니다. 특히, 관측 시기가 현지 작물 생장 주기와 어긋날 경우 정확도가 급격히 떨어지는 경향을 보였습니다. 하지만 몬테카를로 드롭아웃 엔트로피(Monte Carlo dropout entropy) 분석을 통해 이러한 정확도 하락이 공간 전이성(spatial transfer) 문제보다는 작물 생장 주기 불일치 때문임을 밝혀냈습니다.
이러한 문제를 해결하기 위해 두 가지 조정 방안이 제시되었습니다. 첫째, 모델이 주로 혼동하는 13개 작물 분류 체계를 10개로 통합하자 평균 정확도가 8.4%포인트 상승했습니다. 둘째, 관측 시점을 현지 작물 생장 주기에 맞춰 45~90일 사이로 압축했을 때 정확도가 유지되거나 향상되는 것을 확인했습니다. 이러한 결과는 미세조정(fine-tuning)된 농작물 지리 공간 파운데이션 모델(GeoFM)이 실제 현장에서 유용하게 활용되려면 위성 관측 시점을 현지 작물 생장 시기와 정확히 일치시켜야 한다는 중요한 시사점을 제공합니다. 이는 대규모 AI 모델의 실제 적용에 있어 지역적 특성과 운용 환경을 면밀히 고려해야 함을 강조하며, 모델 배포 시 신뢰성을 높이기 위한 실질적인 지침이 될 것입니다.