기계 학습(ML)의 그로킹(grokking) 현상, 진화 생물학의 유사한 대사 경로 재발견, 물리학의 재규격화 흐름(renormalization flow) 등은 모두 서로 다른 미시적 세부 사항에도 불구하고 시스템들이 놀랍도록 유사한 고수준 구조로 수렴하는 현상을 보여줍니다. 최근 트루옹 쑤언 칸(Truong Xuan Khanh) 연구원은 이러한 보편적 수렴 현상을 설명하기 위한 '계층적 출현 프레임워크(Hierarchical Emergence Framework, HEF)'를 제안했습니다.
HEF는 출현(emergence)을 열역학 및 정보 이론적 법칙에 의해 제약되는 '메커니즘 지형(mechanism landscape)'에서의 위상 전이로 모델링합니다. 이 프레임워크는 임계 에너지 문턱(Ec)을 도입하여, 경쟁하는 메커니즘들이 존재하는 '탐색(exploration) 단계'와 고유한 최소 비용 메커니즘에 의해 지배되는 '수렴(convergence) 단계'를 구분합니다. 연구팀은 구조적 가정을 통해 물리적 타당성을 증명하고, 초기 조건과 무관하게 고유한 고정점(fixed-point) 표현으로 수렴함을 보였습니다. 특히, 모듈러 산술 변환기(modular arithmetic transformers)의 지연된 일반화(delayed generalization), 즉 그로킹 현상에 대한 111가지 실험을 통해 HEF를 검증했습니다. 그 결과, 그로킹이 발생하기 전에 가중치 노름(weight norm)이 체계적으로 정점에 도달하는 현상이 92%의 실행에서 재현 가능한 경험적 특징으로 확인되었습니다.
이 연구는 복잡계 전반에 걸쳐 나타나는 보편적 수렴 현상에 대한 새로운 이해의 틀을 제공합니다. HEF는 단순히 현상을 설명하는 것을 넘어, 검증 가능한 수학적 기반을 제공하여 향후 다양한 분야의 연구에 활용될 수 있습니다. 특히, 기계 학습 모델의 예측 불가능한 동작이나 생물학적 시스템의 진화 경로 등을 이해하고 예측하는 데 중요한 통찰력을 제공할 수 있으며, 이는 더 안정적이고 효율적인 인공지능(AI) 시스템 개발에도 기여할 잠재력을 가집니다.