최근 발표된 연구 논문은 이미지 생성 인공지능(AI)과 텍스트 생성 인공지능(AI)이 '잠재 공간(latent space)'에서 작동하는 방식의 근본적인 차이를 지적하며, 왜 이미지 AI는 적은 단계(few-step)만으로도 성공적인 결과를 내는 반면 텍스트 AI는 실패하는지 그 원인을 분석했습니다. 연구팀은 텍스트 AI의 실패가 훈련 부족이나 스케일링 문제가 아닌, '날카로운 범주형 판독(sharp categorical readout)'이라는 기하학적 특성 때문이라고 설명합니다.
연구에 따르면, 연속적인 이미지 잠재 공간(continuous image latents)에서는 결정론적(deterministic)이고 적은 단계의 생성 방식이 잘 작동하지만, 연속적인 텍스트 잠재 공간(continuous text latents)에서는 일관성 없는 텍스트를 생성하며 실패합니다. 이는 텍스트 디코더(decoder)가 이산적인 선택을 너무 '날카롭게' 처리하기 때문입니다. 즉, 부드럽고 규칙성이 제한된 결정론적 매핑(deterministic map)이 날카로운 범주형 판독 이전에 이산적인 분기 선택을 해결하지 못하며, 이는 전송 정확도(transport accuracy)가 아닌 디코더의 날카로움(decoder sharpness)에 의해 좌우됩니다. 실제 텍스트 오토인코더(text autoencoders)에 대한 분석(정리 3)에서는 결정 경계(decision boundaries) 주변의 잠재 질량(latent mass) 비율로 토큰(token)이 뒤집히는 현상이 증명되었습니다.
이러한 발견은 대규모 언어모델(LLM)과 같은 텍스트 생성 AI의 효율성을 높이는 데 중요한 시사점을 제공합니다. 기존에는 텍스트 생성 실패의 원인을 모델의 크기나 훈련 데이터 부족으로 보기도 했지만, 이번 연구는 디코더의 근본적인 기하학적 특성이 문제임을 밝혀냈습니다. 이는 텍스트 생성 모델을 설계하고 최적화할 때, 잠재 공간의 부드러움과 디코더의 범주형 판독 방식 사이의 균형을 고려해야 함을 의미합니다. 앞으로 텍스트 생성 AI의 성능을 개선하기 위해서는 '범주형 커밋먼트(categorical commitment)'나 '확률적 재주입(stochastic re-injection)'과 같은 새로운 메커니즘을 탐구하는 방향으로 연구가 진행될 수 있을 것입니다.