트랜스포머 모델이 학습 과정에서 단순히 데이터를 암기하는 단계를 넘어, 새로운 데이터에도 적용 가능한 일반화 능력을 획득하는 현상을 '그로킹(grokking)'이라고 합니다. 최근 데쿤 양(Dekun Yang)의 연구는 이 그로킹이 트랜스포머 내부의 어느 부분에서 기능적으로 발현되는지에 대한 중요한 통찰을 제공합니다. 이 연구는 그로킹이 특정 모듈의 전환 없이 기존에 존재하는 분산 회로의 '스펙트럼 재코딩(spectral recoding)'을 통해 일어난다고 주장합니다.
연구팀은 '전이 게임(Transition Games)'이라는 새로운 분석 방법을 도입하여, 일반화되지 않는 대조군과 비교하며 모델 활성화(activation)의 변화를 정밀하게 추적했습니다. 그 결과, 그로킹 현상에서 분산된 유틸리티(utility) 이득이 블록-0 어텐션(attention) 편향과 함께 나타나며, 특히 2차 모드(degree-two modes)가 이러한 변화의 67~92%를 설명한다는 것을 발견했습니다. 또한, 블록-1 MLP(다층 퍼셉트론)가 이러한 효과를 다른 모든 하위 경로보다 더 많이 매개한다는 사실이 12쌍의 실험에서 모두 확인되었습니다. 이는 기존에 널리 알려진 'MLP는 암기, 어텐션은 일반화'라는 가설을 뒤집는 결과로, MLP가 일반화 과정에서도 중요한 역할을 할 수 있음을 시사합니다.
이번 연구 결과는 트랜스포머 모델의 내부 작동 방식, 특히 암기에서 일반화로의 전환 메커니즘에 대한 이해를 심화시킵니다. 그로킹이 모듈 스위치가 아닌 기존 회로의 스펙트럼 재코딩을 통해 일어난다는 발견은 모델 설계 및 최적화에 새로운 방향을 제시할 수 있습니다. 예를 들어, 특정 MLP 계층의 역할을 재평가하고, 모델의 일반화 능력을 향상시키기 위한 새로운 학습 전략을 개발하는 데 기여할 수 있습니다. 이는 궁극적으로 더 효율적이고 강력한 인공지능(AI) 모델을 구축하는 데 중요한 밑거름이 될 것입니다.