멀티모달 대규모 언어모델(MLLM)은 다양한 시각-언어 작업에서 뛰어난 성능을 보이지만, 방대한 시각 토큰 처리 비용 때문에 효율성 문제가 늘 지적되어 왔습니다. 최근 발표된 연구는 이러한 비효율성을 해결하기 위해 '중간 계층 어텐션 예측(MAP)'이라는 새로운 접근 방식을 제안했습니다. 이 기술은 시각 토큰을 효율적으로 가지치기(pruning)하여 MLLM의 추론 속도를 크게 향상시키는 데 성공했습니다.
기존 시각 토큰 가지치기 방식은 언어 모델의 특정 중간 계층에서 텍스트-시각 어텐션(attention)을 활용해 중요한 시각 토큰을 선별했습니다. 하지만 연구팀은 질문에 따라 가장 중요한 어텐션이 발생하는 계층이 달라진다는 점과, 어텐션을 얻기 위해 이미 많은 연산이 소모된다는 두 가지 문제점을 발견했습니다. MAP는 '질문 대비 교사 선택(Question Contrastive Teacher Selection)' 방식을 통해 각 샘플에 가장 적합한 교사 계층을 식별하고, 이 계층의 어텐션을 경량 예측기(lightweight predictor)로 증류(distillation)합니다. 이 예측기는 첫 번째 언어 모델 계층에 도달하기 전에 시각 토큰의 중요도를 예측하여 불필요한 토큰을 제거합니다. LLaVA-NeXT-7B 모델에 적용한 결과, MAP는 원래 모델 성능의 97.5%를 유지하면서도 시각 토큰의 5.56%만 사용해 엔드투엔드(end-to-end) 추론 속도를 3.09배 향상시켰습니다.
이러한 발전은 MLLM의 실제 적용 가능성을 크게 높일 것으로 기대됩니다. MLLM은 이미지 캡셔닝, 시각 질문 답변 등 다양한 분야에서 활용되지만, 높은 연산 비용은 상용화의 걸림돌이었습니다. MAP 기술은 모델의 크기나 복잡성을 크게 변경하지 않으면서도 효율성을 극대화하여, 더 빠르고 비용 효율적인 MLLM 서비스 개발을 가능하게 합니다. 이는 사용자 경험을 개선하고, 제한된 컴퓨팅 자원에서도 MLLM을 활용할 수 있는 길을 열어줄 것입니다. 특히 실시간 처리가 중요한 애플리케이션에서 MLLM의 도입을 가속화할 잠재력을 가지고 있습니다.