최근 발표된 연구 논문에서 인공지능(AI) 모델의 운영 및 관리에 필수적인 '평가 서비스(Evaluation-as-a-Service, EaaS)'를 위한 클라우드 네이티브 아키텍처가 제안되었습니다. 이는 AI 모델이 실제 환경에서 배포된 후에도 예측의 신뢰성을 보장하고, 성능 저하를 조기에 감지하며, 공정성 문제를 지속적으로 모니터링할 수 있도록 돕는 혁신적인 접근 방식입니다.
EaaS는 쿠버네티스(Kubernetes) 기반의 여섯 가지 무상태(stateless) 마이크로서비스로 구성됩니다. 주요 기능으로는 유한 표본 보정 적합성 예측(conformal prediction)을 통한 예측 신뢰도 제공, 모델 보정(calibration) 평가, RFF-MMD 기반의 데이터 드리프트(drift detection) 감지, 부트스트랩 신뢰 구간을 활용한 공정성 모니터링(fairness monitoring) 등이 있습니다. 또한, DAG(Directed Acyclic Graph) 기반의 파이프라인 오케스트레이터와 결과 저장 API를 포함하여 유연하고 확장 가능한 평가 환경을 구축합니다. 연구팀은 이러한 방법론이 예측 커버리지, 드리프트 감지 정확도, 공정성 격차 탐지 등 네 가지 핵심 평가 지표에서 뛰어난 성능을 보임을 검증했습니다. 특히, 적합성 예측 및 보정 서비스는 배치 크기 100에서 2밀리초(ms) 미만의 p99 지연 시간을 달성하여 실시간에 가까운 모니터링이 가능함을 입증했습니다.
이 아키텍처의 가장 큰 의미는 기존의 오픈소스 도구들이 제공하지 못했던 '서비스형 적합성 예측(conformal-prediction-as-a-service)' 기능을 마이크로서비스 분해 및 DAG 기반 오케스트레이션과 결합하여 제공한다는 점입니다. 이는 AI 모델의 예측이 단순히 '맞다/틀리다'를 넘어 '얼마나 신뢰할 수 있는가'에 대한 정량적인 보증을 제공함으로써, 고위험 AI 애플리케이션(예: 의료, 금융)의 신뢰성을 크게 향상시킬 수 있습니다. 또한, 클라우드 네이티브 설계는 AI 모델 운영의 복잡성을 줄이고, 다양한 AI 시스템에 유연하게 통합될 수 있는 기반을 마련하여, AI 시스템의 안정적인 운영과 규제 준수에 기여할 것으로 기대됩니다.