심층 강화 학습(DRL) 에이전트가 무작위로 초기화된 합성곱 신경망(CNN) 특징 추출기를 사용할 때, 놀랍게도 완전 연결(FC) 계층에서 극도로 희소한 표현을 자발적으로 개발한다는 연구 결과가 발표되었습니다. 이는 인공지능 모델이 명시적인 희소성 유도 목표 없이도 핵심 정보를 효율적으로 압축하는 능력을 가질 수 있음을 시사합니다.
스코트 M. 노턴(Scott M. Norton)의 이 연구는 특히 첫 번째 완전 연결 계층(FC1)에서 뚜렷한 희소성을 관찰했습니다. 예를 들어, 결정론적 퐁(Pong) 게임에서는 64개의 뉴런 중 단 1~3개만이 활성화되어 작업 관련 정보를 압축했으며, 확률론적 퐁에서는 5~11개가 활성화되었습니다. 이는 학습 가능한 CNN이 동일 조건에서 55~64개의 뉴런을 활성화하는 것과 대조적입니다. 또한, FC1 희소성은 작업 복잡도에 따라 달라져, 퐁은 1~11개, 브레이크아웃(Breakout)은 19~26개, 스페이스 인베이더(Space Invaders)는 약 42개의 뉴런이 활성화되었습니다. 이러한 현상은 무작위 투영이 특정 작업의 본질적인 차원(intrinsic task dimensionality)을 효과적으로 드러낼 수 있음을 보여줍니다.
이러한 발견은 심층 신경망의 정보 처리 방식에 대한 새로운 통찰력을 제공합니다. 특히, 입력 차원이 내재된 작업 차원보다 훨씬 클 때, 고정된 무작위 투영에 대한 경사 하강법(gradient descent)이 명시적인 희소성 메커니즘 없이도 문제의 유효 순위(effective rank)를 밝혀낼 수 있음을 시사합니다. 이는 모델의 효율성을 높이고, 특정 작업에 필요한 최소한의 정보 처리 경로를 이해하는 데 중요한 단서가 될 수 있습니다. 궁극적으로, 이 연구는 강화 학습 에이전트가 어떻게 복잡한 환경에서 핵심 정보를 추출하고 학습하는지에 대한 우리의 이해를 심화시키며, 미래의 효율적인 AI 모델 설계에 기여할 잠재력을 가지고 있습니다.