인공지능(AI) 모델이 인간의 선호도를 학습하여 더 나은 결과물을 생성하도록 돕는 과정에서 두 가지 주요 난관에 부딪힙니다. 하나는 보상 모델(reward model)이 인간의 의도를 정확히 반영하지 못해 발생하는 '보상 해킹(reward hacking)' 문제이고, 다른 하나는 보상 모델 학습에 사용되는 민감한 사용자 선호 데이터의 사생활 보호(privacy protection) 문제입니다. 최근 발표된 연구는 이 두 가지 문제를 '추론 시 정렬(inference-time alignment)' 과정에 미세한 노이즈(noise)를 추가하는 단일 개입으로 동시에 해결할 수 있음을 보여주었습니다.
기존의 가장 널리 사용되는 추론 시 정렬 전략인 '최고의 N개 선택(Best-of-N, BoN) 샘플링'은 모델이 생성한 여러 응답 중 보상 모델 점수가 가장 높은 것을 선택하는 방식입니다. 하지만 이 방식은 보상 모델의 결함을 악용하여 부적절한 응답을 선택하거나, 학습 데이터에 대한 사생활 보호가 전혀 이루어지지 않는다는 한계가 있었습니다. 이번 연구에서는 선택 전에 보상 점수에 '조정된 노이즈(calibrated noise)'를 추가하는 방법을 제안합니다. 첫 번째 결과물인 '프라이빗 BoN(PrivBoN)'은 적절한 규모의 검벨 노이즈(Gumbel noise)를 통해 엡실론-차등 프라이버시(epsilon-differential privacy)를 제공하면서 동시에 KL-정규화 정렬(KL-regularized alignment)을 구현합니다. 특정 프라이버시 예산(privacy budget)을 초과할 경우, 이 노이즈는 최적의 정규화(regularization) 역할을 하여 사생활 보호로 인한 추가적인 정렬 비용이 발생하지 않습니다.
연구진은 또한 미지의 커버리지 계수(coverage coefficient)에 의존하는 엡실론 스타(epsilon*) 문제를 해결하기 위해 '프라이빗 추론 시 비관론(Private Inference-Time Pessimism, PrivITP)'을 도입했습니다. PrivITP는 카이제곱-정규화 거부 샘플링(chi^2-regularized rejection sampling)과 2단계 가우시안 메커니즘(Gaussian mechanism)을 결합하여, 응답 수에 독립적인 사생활 보호 비용으로 사후 엡실론-델타 차등 프라이버시(ex-post epsilon-delta DP)를 달성합니다. 여러 언어 모델(language model), 데이터셋, 보상 모델에 대한 실험 결과, PrivBoN과 PrivITP 모두 기존 BoN과 달리 N값 증가에 따라 성능이 저하되지 않고 안정적이며, 특히 강력한 프라이버시 보호 환경에서 PrivITP가 PrivBoN보다 우수하거나 동등한 성능을 보였습니다. 이는 민감한 데이터를 안전하게 활용하면서도 AI 모델의 유용성을 극대화할 수 있는 중요한 진전입니다.