반복 트랜스포머(Looped Transformers)는 추론(inference) 시점에 동일한 신경망 블록을 여러 번 반복 적용하여 연산 능력을 높이는 모델입니다. 하지만 이 모델들이 언제 연산을 멈출지 결정하는 '학습된 종료 게이트(learned halting gates)' 방식이 오히려 비효율을 초래할 수 있다는 진단이 나왔습니다. 기존에는 이 종료 게이트가 추론 시점의 중단 규칙과 학습 시점의 손실 가중치를 동시에 결정하면서, 최적의 연산 경로를 방해하는 문제가 있었습니다.
연구팀은 이러한 문제를 '경로 형성(trajectory formation)'과 '결과 판독(readout)'의 관점에서 분석했습니다. 특히, 종료 게이트가 어떤 반복 상태를 사용할지 선택할 뿐만 아니라, 각 중간 상태가 얼마나 강하게 감독(supervise)될지까지 결정하면서 종료 선택과 경로 형성이 복잡하게 얽히게 된다고 지적했습니다. 통제된 합성 작업(모듈러 산술, 이진 패리티)과 대규모 Ouro-1.4B 및 2.6B 체크포인트를 활용한 실험 결과, 입력에 따라 종료 정책이 달라지지 않는 '고정 사전 심층 감독(fixed-prior depth supervision)' 방식이 난이도를 인지하는 경로를 생성하며 유용한 종료 신호를 노출했습니다. 또한, 학습된 선형 또는 MLP 게이트보다 단순한 '사후 신뢰도 판독(post-hoc confidence readouts)' 방식이 더 좋은 성능을 보이거나 동등한 수준임을 확인했습니다.
이는 반복 트랜스포머의 적응형 깊이(adaptive depth) 최적화가 단순히 종료 게이트를 잘 학습시키는 문제가 아니라, 연산 경로 형성 방식과 최종 결과를 읽어내는 방식이 통합적으로 고려되어야 함을 시사합니다. 즉, 모델이 스스로 연산을 멈출 시점을 결정하는 방식이 모델의 전반적인 성능과 효율성에 결정적인 영향을 미친다는 것입니다. 이 연구는 평균 종료 깊이(average exit depth) 감소가 실제 추론 시간 절약으로 이어진다는 점을 확인하며, 향후 더 효율적인 대규모 언어모델(LLM) 및 AI 모델 개발에 중요한 방향성을 제시합니다.