대규모 언어모델(LLM)이 학습 데이터를 기억하고 유출하는 문제가 기존에 알려진 것보다 훨씬 심각하다는 연구 결과가 발표되었습니다. 아르카이브(arXiv)에 게재된 빅터 마리카토(Victor Maricato)의 논문 'Leak It'은 블랙박스 언어모델에서 학습 데이터 추출(training-data extraction)이 발생하는 방식을 확률론적 관점에서 분석했습니다. 기존의 멤버십 추론 공격(Membership Inference Attack, MIA) 평가 방식인 ROC-AUC는 모델과 무관한 단순 텍스트 기반 공격에도 높은 점수를 보여 실제 유출 위험을 과소평가할 수 있다는 지적입니다.
연구팀은 샘플링 기반의 블랙박스 학습 데이터 유출을 분석하며, 특히 특정 문서에 고유한 식별자(identifier)가 모델에 의해 그대로 재현되는 현상에 주목했습니다. 파이티아-6.9B(Pythia-6.9B) 모델을 대상으로 한 실험에서, 실제 식별자를 포함한 500개 파일 중 83개(16.6%)에서 해당 식별자가 정확히 유출되는 것을 확인했습니다. 이러한 유출은 모델 용량(410M에서 6.9B로 증가 시 5.6%에서 16.6%로 증가)에 비례하여 증가했으며, 코드(code) 데이터에서 유출 위험이 산문(prose) 데이터보다 약 3배 더 높았습니다. 또한, 온도(temperature)나 핵 샘플링(nucleus sampling) 같은 생성 파라미터는 유출에 큰 영향을 미치지 않았고, 데이터 중복 제거(deduplication)도 유출을 막지 못했습니다.
이 연구는 기존의 집계 지표(aggregate metrics)가 개별 문서 수준에서 발생하는 심각한 데이터 유출 피해를 간과하고 있음을 보여줍니다. 특히 개인 식별 정보(PII)나 기업의 기밀 코드가 LLM 학습 과정에서 노출될 수 있다는 점에서 심각한 보안 및 프라이버시 문제를 야기합니다. 연구팀은 이러한 문제를 해결하기 위해 개별 문서 단위의 유출 여부를 도메인별로 보고하는 새로운 감사 기준을 제시하며, 블랙박스 추출 감사 도구인 'leakit'을 공개했습니다. 이는 LLM 개발자와 사용자 모두에게 모델의 프라이버시 위험을 더 정확하게 이해하고 대응할 수 있는 중요한 기반을 제공할 것입니다.