대규모 언어모델(LLM)이 긴 문맥을 처리할 때 발생하는 연산량 문제를 해결하기 위해 '블록 희소 어텐션(block-sparse attention)' 기법이 사용됩니다. 이는 모든 토큰 간의 관계를 계산하는 대신, 관련성이 높은 일부 '블록'만 선택하여 연산 효율을 높이는 방식입니다. 하지만 기존의 단순한 상위 k개 블록 선택 방식은 k번째와 k+1번째 블록의 점수가 비슷할 때 중요한 정보를 놓칠 수 있다는 한계가 있었습니다.
토마스 로시(Thomas Rossi)가 제안한 새로운 '불확실성 게이팅 선택(uncertainty-gated selection)' 방식은 이러한 문제를 해결합니다. 이 방법은 각 쿼리(query)에 대해 상위 k개 블록을 선택할 때 얼마나 확실하게 선택이 이루어졌는지, 즉 k번째와 k+1번째 블록 간의 점수 차이가 얼마나 작은지를 측정합니다. 만약 이 점수 차이가 작아 선택이 모호하다고 판단되면, 해당 쿼리에 대해서는 선택하는 블록의 수를 두 배로 늘려 잠재적으로 중요한 정보를 놓치지 않도록 합니다. 이 방식은 기존의 블록 점수화 방법(예: Quest)과도 호환되며, 특정 모델 아키텍처에 종속되지 않는다는 장점이 있습니다.
이 새로운 접근 방식은 LongBench-v2와 RULER NIAH 같은 벤치마크에서 기존 상위 k개 선택 방식 대비 최대 28%p의 회수율(recall) 향상을 보였습니다. 특히 Qwen2.5-7B-1M 모델의 128K 컨텍스트 길이에서 기존 방식이 0.09의 정확도를 보인 반면, 불확실성 게이팅 방식은 0.81의 정확도를 유지하며 밀집 어텐션(dense attention)에 근접한 성능을 달성했습니다. 동시에 연산 시간은 밀집 어텐션 대비 0.62배에서 0.80배 수준으로 효율성을 유지하여, 긴 컨텍스트 처리의 정확도와 효율성이라는 두 마리 토끼를 모두 잡는 데 성공했습니다.
이 연구는 LLM이 더 길고 복잡한 문서를 정확하게 이해하고 처리하는 능력을 크게 향상시킬 수 있음을 시사합니다. 이는 법률 문서 분석, 장문의 보고서 요약, 복잡한 코드 이해 등 긴 컨텍스트를 요구하는 다양한 실제 응용 분야에서 LLM의 활용 가치를 높일 것입니다. 또한, 모델의 크기나 아키텍처에 구애받지 않고 적용 가능하여, 기존 LLM의 성능을 개선하는 데 중요한 기반 기술이 될 것으로 기대됩니다.