최근 발표된 연구에 따르면, 인공지능(AI) 시스템의 핵심 구성 요소인 매트릭스 메모리(matrix memory)가 그래디언트 기반 학습(gradient-based training)을 통해 정보 저장 및 조합에 필수적인 '랭크(rank)' 개념을 스스로 습득할 수 있다는 사실이 입증되었습니다. 이는 AI가 복잡한 연관성을 효율적으로 기억하고 활용하는 방식에 대한 근본적인 이해를 높이는 중요한 진전입니다.
연구팀은 $K$개의 새로운 키-값 바인딩(key-value binding)을 저장하는 매트릭스 메모리를 훈련시켰으며, 이 바인딩들을 정확히 선형적으로 복구하려면 최소 $\mathrm{rank}(Z) \geq K$가 필요했습니다. 실험 결과, 학습된 유효 랭크(effective rank)는 저장해야 할 바인딩의 개수($K$)에 비례하여 증가하는 경향을 보였습니다. 특히, 특정 랭크 제한($k$)을 두었을 때 $k=K$ 근처에서 정보 복구율이 급격히 전환되는 현상이 관찰되었는데, 이는 AI가 필요한 최소 랭크를 정확히 찾아낸다는 것을 의미합니다. 예를 들어, $d=8, K=4$ 조건에서 랭크 3은 0.0004의 복구율을 보였지만, 랭크 4에서는 0.97로 크게 상승했습니다.
이 연구는 대규모 언어모델(LLM)과 같은 최신 AI 시스템의 장기 기억(long-term memory) 및 추론(inference) 능력 향상에 중요한 함의를 가집니다. 매트릭스 메모리가 필요한 랭크를 자율적으로 학습할 수 있다면, AI는 더 적은 자원으로 더 많은 정보를 효율적으로 저장하고, 복잡한 관계를 파악하여 추론하는 능력을 강화할 수 있습니다. 이는 AI가 과거의 경험을 바탕으로 새로운 정보를 학습하고, 이를 통해 더욱 정교하고 유연한 지능을 발휘하는 데 기여할 것으로 기대됩니다. 궁극적으로는 인간의 뇌가 정보를 조직하고 기억하는 방식에 대한 이해를 높이는 데도 도움이 될 수 있습니다.