모든 프로덕션 AI 모델은 재훈련(retraining), 미세조정(fine-tuning), 양자화(quantization) 등 다양한 방식으로 끊임없이 업데이트됩니다. 하지만 이러한 업데이트는 항상 기존 모델보다 성능이 나빠질 위험, 즉 성능 저하(regression)의 위험을 안고 있습니다. 이러한 위험을 최소화하면서 업데이트의 안정성을 보장하는 것은 AI 시스템 운영에 있어 매우 중요한 과제입니다.
최근 발표된 'DISCERN'이라는 새로운 프로토콜은 AI 모델 업데이트 검증 방식을 혁신합니다. 이 프로토콜은 두 모델 간의 위험 차이가 '불일치(disagreement)'가 발생하는 입력값에만 존재한다는 핵심 아이디어에서 출발합니다. 즉, 두 모델이 서로 다른 예측을 내놓는 경우에만 레이블(label)을 확인하여 성능 저하 여부를 판단하는 것입니다. DISCERN은 두 단계로 작동하는데, 첫 번째 '제로-레이블(zero-label)' 단계에서는 불일치율이 허용 오차 범위 내에 있는 업데이트는 레이블 없이도 안전하다고 인증합니다. 두 번째 '감사(audited)' 단계에서는 샘플링된 불일치 데이터에 대해서만 레이블링을 진행하여, 언제든 유효한 신뢰 구간(confidence sequence)을 통해 정확한 검증을 수행합니다. 이 방식은 레이블링 비용을 크게 절감하면서도 높은 정확도를 유지합니다.
연구 결과에 따르면, DISCERN은 1.4B 매개변수 언어 모델의 LoRA 미세조정을 포함한 785쌍의 업데이트에서 14,000회 이상의 감사 스트림을 재현한 결과, 오분류율(miscoverage)은 0.0002에 불과했으며, 0.986의 높은 검증력(power)을 보였습니다. 특히 주목할 점은 양호한 업데이트의 56%가 레이블링 없이도 안전하다고 인증되었다는 것입니다. 이는 기존 방식 대비 레이블링 비용을 획기적으로 줄일 수 있음을 의미합니다. DISCERN은 각 감사 과정에서 기계로 검증 가능한 증거 기록을 생성하여 사후 모니터링에도 용이하며, 이는 AI 모델의 투명성과 신뢰성을 높이는 데 기여할 수 있습니다.
이러한 기술은 AI 모델을 운영하는 모든 기업에게 큰 이점을 제공합니다. 모델 업데이트의 안정성을 보장하면서도 검증 비용을 절감할 수 있다면, 기업들은 더 빠르고 효율적으로 AI 모델을 개선하고 배포할 수 있게 됩니다. 이는 결국 최종 사용자에게 더 나은 AI 서비스를 제공하고, AI 기술 발전의 속도를 가속화하는 데 중요한 역할을 할 것입니다. 특히 대규모 언어모델(LLM)처럼 업데이트가 빈번하고 검증 비용이 높은 모델들에게는 더욱 필수적인 기술이 될 것으로 예상됩니다.