대규모 언어모델(LLM)이 정보를 처리하는 방식이 인간의 뇌와 유사하다는 가설을 뒷받침하는 새로운 연구 결과가 나왔습니다. 최근 발표된 '점화 지수(Ignition Index)'는 트랜스포머(Transformer) 기반 LLM이 특정 정보를 갑자기 '점화(ignition)'시키며 처리하는 현상을 정량적으로 측정하는 지표입니다. 이는 글로벌 워크스페이스 이론(Global Workspace Theory, GWT)에서 제시하는 '전부 아니면 전무(all-or-none)' 방식의 정보 통합 예측을 언어모델에 적용한 첫 시도입니다.
연구팀은 이 점화 지수를 통해 5가지 아키텍처 계열에 걸친 11개 모델을 분석했습니다. 그 결과, 피드포워드 트랜스포머(Feedforward Transformer) 모델이 상태 공간 모델(State Space Model, SSM)인 맘바(Mamba)보다 점화 지수가 89% 더 높게 나타났습니다. 특히 맘바는 전역적 정보 확산(global broadcast)이 없는 거의 선형적인 정보 처리 프로파일을 보였습니다. 또한, 순환 아키텍처인 허긴-3.5B(Huginn-3.5B)는 깊이 축보다 반복(iteration) 축에서 2.12배 높은 점화 현상을 보여, 순환 차원에서 워크스페이스와 유사한 전환이 발생함을 입증했습니다. 이는 모델의 아키텍처에 따라 정보 처리 방식이 크게 다름을 시사합니다.
이 점화 지수는 LLM의 내부 작동 원리, 즉 '메커니즘적 해석 가능성(mechanistic interpretability)'을 이해하는 데 중요한 다리를 놓습니다. 기존의 스케일링 법칙(scaling law) 연구에서는 다루지 못했던 아키텍처 수준의 차별성을 9.6배 높은 측정 선택성으로 밝혀냈다는 점에서 의미가 큽니다. 앞으로 이 지표는 LLM의 인지적 특성을 더 깊이 탐구하고, 더 효율적이고 인간과 유사하게 작동하는 AI 모델을 설계하는 데 기여할 것으로 기대됩니다.