대규모 언어모델(LLM)은 하나의 모델 파라미터(parameter) 세트로 다양한 작업을 처리하지만, 추론(inference) 과정 중 KV 캐싱(KV-cached inference) 환경에서 디코딩(decode-time) 단계에 어떤 작업 일반적인 구조가 사용되는지는 불분명했습니다. 최근 발표된 'DecodeShare' 연구는 이러한 의문을 해소하기 위해 LLM의 디코딩 시점 은닉 상태(hidden states)에서 여러 작업에 걸쳐 일관되게 나타나는 저차원 잠재 공간을 식별하는 프로토콜을 제안했습니다.
연구팀은 'DecodeShare' 프로토콜을 통해 발견된 공유 잠재 공간(shared subspace)을 디코딩 중에만 제거하는 실험을 진행했습니다. 그 결과, 이 공유 공간을 방해했을 때 모델의 의사결정 성능이 사전 채우기(prefill) 단계에서 파생된 공간이나 무작위 공간을 방해했을 때보다 훨씬 크게 저하되는 것을 확인했습니다. 이는 해당 공유 잠재 공간이 LLM의 디코딩 과정에서 핵심적인 인과적 역할(causal role)을 수행하며, 다양한 작업에 걸쳐 중요한 의사결정 정보를 담고 있음을 강력히 시사합니다.
이러한 발견은 LLM의 내부 작동 방식을 이해하는 데 중요한 통찰력을 제공합니다. 특히, 활성화 조향(activation steering)과 같은 기술에서 공통적인 조향 방향이 이 작업 일반적인 디코딩 채널과 겹칠 수 있음을 보여줍니다. 이 공유 잠재 공간을 분리함으로써 두 구성 요소의 기능적 역할을 직접적으로 구분할 수 있으며, 디코딩 시점에서 조향 벡터(steering vector)를 평가하는 것이 사전 채우기 기반의 대리 지표보다 더 신뢰할 수 있는 신호를 제공한다는 점도 밝혀졌습니다. 결국, 이 작고 압축된 공유 잠재 공간이 디코딩 시점에서 강력한 영향력을 가진 인과적 채널로 작용한다는 의미입니다. 이는 LLM의 효율적인 제어 및 미세조정(fine-tuning) 전략 개발에 기여할 수 있습니다.