인공지능(AI) 모델 학습에 필수적인 데이터 라벨링은 막대한 비용과 시간을 요구합니다. 이를 줄이기 위한 액티브 러닝(Active Learning) 기법 중 하나인 불확실성 샘플링(Uncertainty Sampling)은 모델이 가장 확신하지 못하는 데이터를 우선적으로 라벨링하도록 선택합니다. 하지만 최근 존 마이런 우이(John Myron Uy)의 연구는 이러한 접근 방식이 오히려 잘못된 라벨(corrupted labels)을 더 많이 수집하거나, 라벨링 오류가 특정 어려운 영역에 집중되어 모델 성능에 해를 끼칠 수 있다는 가능성을 제기했습니다.
이 연구는 마진 기반 불확실성 샘플링(Margin-based Uncertainty Sampling)과 무작위 샘플링(Random Sampling)을 비교하며, 깨끗한 라벨(clean labels), 무작위 분류 노이즈(Random Classification Noise, RCN), 그리고 난이도에 따라 달라지는 노이즈(difficulty-dependent noise) 환경에서 세 가지 공개 이진 테이블형 데이터셋을 활용했습니다. 연구 결과, 깨끗한 라벨 환경에서는 불확실성 샘플링이 정규화된 균형 정확도(normalized balanced-accuracy)를 1.09%에서 1.77% 포인트 향상시키는 것으로 나타났습니다. 그러나 난이도 의존적 노이즈 환경에서는 유방암 위스콘신(Breast Cancer Wisconsin) 데이터셋의 경우 RCN보다 불확실성 샘플링의 이점이 더 크게 감소했지만, 은행권 인증(Banknote Authentication)이나 매직 감마 망원경(MAGIC Gamma Telescope) 데이터셋에서는 그렇지 않았습니다. 이는 불확실성 샘플링의 견고성(robustness)이 데이터셋의 특성, 라벨링 예산, 노이즈의 구조, 그리고 평가 지표에 따라 크게 달라진다는 것을 시사합니다.
이번 연구는 액티브 러닝, 특히 불확실성 샘플링 기법을 실제 AI 개발에 적용할 때 신중한 접근이 필요함을 강조합니다. 단순히 불확실한 데이터를 선택하는 것이 항상 최적의 결과를 보장하지 않으며, 라벨 노이즈의 유형과 데이터셋의 특성을 고려하여 샘플링 전략을 세밀하게 조정해야 합니다. 이는 AI 모델의 효율적인 학습과 성능 향상을 위해 라벨링 과정에서 발생할 수 있는 잠재적 위험을 이해하고 관리하는 것이 중요함을 보여줍니다. 따라서 개발자들은 특정 시나리오와 데이터에 맞는 액티브 러닝 전략을 고민해야 할 것입니다.