새로운 연구는 인공지능(AI) 모델의 역량(capability)이 단순히 규모를 키우는 것(스케일)이 아니라, 데이터에 접근하는 '구조(access structure)'에 의해 결정된다는 파격적인 주장을 내놓았습니다. 이는 기존의 '모델이 커질수록 현실을 더 잘 표현한다'는 플라톤적 표현 가설(Platonic Representation Hypothesis)의 한계를 지적하며, 고정된 토큰당 추론 예산 하에서는 표현 수렴이 곧 역량 수렴으로 이어지지 않는다고 강조합니다.
이 연구는 '역량 수렴 가설(Capability Convergence Hypothesis, CCH)'을 제시하며, 역량은 '접근 완전 하이브리드(access-complete hybrid)' 아키텍처로 수렴한다고 설명합니다. 이 하이브리드 아키텍처는 압축적인 O(1) 상태 채널과 확장 가능한 문자 그대로의 인덱스 채널을 모두 포함해야 합니다. 연구팀은 무한 스트림에서의 '뉴턴의 사과 문제'라는 증명 태스크를 통해 이를 입증했으며, 샤논 벽, 지평선 벽, 회로 벽이라는 세 가지 자원 한계를 정의하고 하이브리드 모델이 이를 극복할 수 있음을 보였습니다. 특히, 소규모 사전 등록 실험에서 예측된 '가위 간극(scissors gap)'이 측정되었고, 64 스칼라 상태에 전역 어텐션(global attention) 레이어가 하나 추가되자 정확한 검색 오류가 0.994에서 0.000으로 급감하는 결과가 관찰되었습니다.
이 연구는 AI 모델 개발의 패러다임을 바꿀 수 있는 중요한 시사점을 제공합니다. 단순히 더 많은 데이터와 더 큰 모델을 투입하는 양적 성장이 아니라, 데이터 접근 방식과 아키텍처 설계라는 질적 측면에 집중해야 한다는 것입니다. 이는 제한된 자원으로도 효율적이고 강력한 AI 모델을 구축할 수 있는 가능성을 열어주며, 특히 특정 도메인이나 태스크에 최적화된 소형 모델 개발에 새로운 방향을 제시할 수 있습니다. 앞으로 AI 연구는 모델의 '규모'보다는 '구조'와 '접근 방식'을 혁신하는 방향으로 전환될 것으로 예상됩니다.