여러 도메인이 뒤섞인 방대한 데이터에서 정보를 검색할 때, 사용자가 원하는 도메인이 아닌 다른 도메인의 결과가 섞여 나오는 '도메인 오염(domain contamination)' 문제가 자주 발생합니다. 이는 검색 시스템의 신뢰도를 떨어뜨리고, 특히 대규모 언어모델(LLM)과 같은 AI 시스템이 잘못된 정보를 기반으로 추론(inference)하게 만드는 원인이 됩니다. 최근 발표된 연구는 이러한 문제를 해결하기 위한 새로운 제어 계층(control layer)인 C3R을 제안했습니다.
C3R(Certified Domain Consistency for Multi-Domain Retrieval)은 기존 검색 시스템에 쉽게 통합될 수 있는 '드롭인(drop-in)' 방식의 제어 계층입니다. 이 기술의 핵심은 쿼리(query) 시점에 별도의 레이블(label) 정보 없이도 추론된 도메인 사후 확률(inferred domain posterior)을 활용하여 도메인별 오염 예산을 보장한다는 점입니다. 만약 오염 예산을 지키기 어렵다고 판단되면, C3R은 침묵하며 위반하는 대신 아예 결과를 제공하지 않는 '기권(abstain)' 방식을 택합니다. 특히 가장 어려운 도메인에서는 엄격한 오염 상한선을 보장하기보다는 오염 자체를 줄이는 데 중점을 둡니다. 이 방식은 '위험 제어 예측 세트(risk-controlling prediction sets)'를 기반으로 한 투-스플릿(two-split) 체계를 사용하며, 이를 통해 추론된 도메인에서 실제 도메인으로의 전이 바운드(transfer bound)를 유한한 샘플 내에서 추정할 수 있습니다.
C3R의 중요성은 단순히 검색 결과의 정확도를 높이는 것을 넘어섭니다. 천 번의 재샘플링(resampling) 교정(calibration) 실험에서 C3R은 오염 예산을 단 한 번도 위반하지 않는 안정성을 보였습니다. 반면, 기존의 한계 제어(marginal control) 방식은 가장 오염된 도메인에서 매번 오염을 위반했습니다. 또한, C3R은 공공 연방 규제와 같은 독립적인 테스트베드에서도 그 효과가 입증되었으며, LLM이 판단하는 하위 작업(downstream probe)에서도 오염이 줄어들수록 잘못된 권한 기반(wrong-authority grounding)이 감소함을 보여주었습니다. 이는 LLM이 외부 정보를 검색하여 답변을 생성하는 RAG(Retrieval-Augmented Generation) 시스템 등에서 잘못된 정보 주입을 막아 AI의 신뢰성을 크게 향상시킬 수 있음을 의미합니다. C3R은 기존 검색 스택(stack)이나 재순위화(reranker) 방식에 구애받지 않고 적용 가능하여 그 활용성이 더욱 높습니다.