생성형 인공지능(AI) 모델, 특히 텍스트-이미지 변환이나 이미지 생성 등에서 흔히 사용되는 인자화된 생성 모델(factorized generative models)이 가진 근본적인 가정 하나가 최근 연구를 통해 흔들리고 있습니다. 이 모델들은 잠재 스타일 변수(latent style variable)가 생성되는 콘텐츠의 클래스 정보와 완전히 독립적이라고 가정해왔습니다. 즉, 스타일 변수가 이미지의 '스타일'만 담당하고, '무엇'을 그릴지는 클래스 변수가 담당한다는 생각이었죠. 하지만 아카이브(arXiv)에 발표된 논문은 이러한 통념이 잘못되었음을 지적합니다.
연구팀은 스타일 변수의 주변 분포(marginal distribution)를 고정된 가우시안 사전 분포(Gaussian prior)에 맞추는 것만으로는 스타일이 클래스 정보와 독립적임을 보장할 수 없다고 주장합니다. 주변 분포만 일치시킬 경우, 클래스 조건부 분포(class-conditional distributions)에는 아무런 제약이 가해지지 않아 스타일 변수가 여전히 클래스 레이블을 매우 정확하게 예측할 수 있다는 것입니다. 실제 실험에서, 글로벌 MMD(Maximum Mean Discrepancy)가 거의 0에 가까워 스타일 변수가 전체적으로는 완벽한 가우시안 분포처럼 보였음에도 불구하고, 선형 프로브(linear probe)를 통해 클래스 레이블을 74%에서 100% 정확도로 복구할 수 있었습니다. 이는 스타일 변수가 클래스 정보를 '누설(leakage)'하고 있음을 명확히 보여줍니다.
이러한 스타일 누설은 생성형 모델의 신뢰성과 투명성에 중요한 영향을 미칩니다. 모델이 의도한 대로 스타일과 콘텐츠를 분리하지 못한다면, 특정 스타일이 특정 클래스와 불필요하게 연결되어 편향(bias)을 증폭시키거나, 원하는 대로 콘텐츠를 제어하기 어렵게 만들 수 있습니다. 연구팀은 이러한 문제를 해결하기 위한 몇 가지 완화 전략을 제시했는데, 예를 들어 사후 조건부 사전(post-hoc conditional prior)을 사용하거나 경험적 스타일 뱅크(empirical style bank)를 구축하는 방식입니다. 이러한 방식들은 클래스 예측 정확도를 21%~46% 수준으로 낮추는 데 성공했지만, 여전히 완벽한 독립성을 달성하지는 못했습니다. 결국, 스타일 잠재 변수의 주변 분포만으로는 클래스 레이블로부터의 독립성을 증명할 수 없으며, 생성형 모델의 핵심 주장을 검증하기 위해서는 더 엄격한 기준이 필요하다는 결론입니다.