최근 연구에 따르면, 최신 대규모 언어모델(LLM)의 핵심인 트랜스포머(Transformer) 아키텍처가 풀 어텐션(Full Attention, FA)과 선형 어텐션(Linear Attention, LA)을 암묵적으로 결합한 하이브리드(Hybrid) 형태로 작동하고 있음이 밝혀졌습니다. 그동안 이러한 하이브리드 구조의 배분은 주로 경험적 추측에 의존해왔으나, 이번 연구는 로터리 포지셔널 인코딩(RoPE) 기반 트랜스포머의 어텐션 헤드(Attention Head) 기능을 분석하여 이면에 숨겨진 원리를 파헤쳤습니다.
연구진은 Qwen3 시리즈 모델과 Llama3.1을 대상으로 두 가지 새로운 측정 지표인 RoPE 주파수 중요도 점수(RFIS)와 RoPE 위치 의존성(RPD)을 도입했습니다. RFIS는 각 주파수가 어텐션 분포에 미치는 영향을 측정하고, RPD는 로터리 위치 변조(Rotary Positional Modulation)에 대한 의존성을 분리해냅니다. 이 분석을 통해 어텐션 헤드가 전역 검색(Retrieval)과 위치 모델링(Positional Modeling)이라는 두 가지 기능으로 명확히 구분되며, 이 기능 분리는 훈련 길이의 위치 스케일(Training-length Positional Scale)을 따르는 '전역 위치 대역(Global Positional Band, GPBand)'에 의해 결정된다는 사실을 발견했습니다.
이러한 기능적 분화는 트랜스포머가 긴 문맥을 제로샷(Zero-shot)으로 외삽(Extrapolation)하는 데 실패하는 잠재적 원인을 시사합니다. 연구는 두 가지 핵심 원칙을 제시합니다. 첫째, 위치 모델링은 지역적으로만 작동해야 하며, 전역 접근은 위치 독립적인 검색을 통해 이루어져야 합니다. 둘째, 이 두 기능은 헤드 단위(Head Granularity)로 할당되고 계층별(Layer-specific)로 배분되어야 합니다. 이 원칙들을 기반으로 연구진은 '헤드 단위 하이브리드 아키텍처(Head-wise Hybrid Architecture, HwH)'를 구현했습니다. HwH는 전역 검색을 위해 NoPE FA를, 지역 위치 모델링을 위해 LA를 사용하며, FA 대 LA 비율이 1:3 미만일 때도 강력한 언어 모델링 및 상식 추론 능력을 유지하면서 검색 성능을 향상시키고, 제로샷 장문 맥락 외삽 능력을 기존 트랜스포머, LA, 그리고 계층 단위 하이브리드 모델보다 크게 강화했습니다. 이는 향후 파운데이션 모델(Foundation Model) 설계를 위한 유망한 방향을 제시합니다.