대규모 언어모델(LLM)의 활용이 늘면서, 모델을 한 번 학습시키는 비용보다 사용자 요청에 응답하는 추론(inference) 비용이 훨씬 중요해지고 있습니다. 기존 트랜스포머(Transformer) 모델은 프롬프트 처리(prefill)와 응답 생성(decode) 두 추론 단계에서 동일한 연산 구조를 사용해왔는데, 이는 각 단계의 하드웨어 요구사항이 다름에도 불구하고 비효율적인 비용 증가를 초래했습니다.
최근 발표된 '듀얼-플로우 트랜스포머(Dual-Flow Transformer)'는 이러한 문제를 해결하기 위해 두 단계를 분리하는 새로운 접근 방식을 제안합니다. 이 아키텍처는 '주요 흐름(primary flow)'과 '보조 흐름(auxiliary flow)'으로 나뉩니다. 주요 흐름은 전체 프롬프트를 처리하고 키-값(KV) 캐시를 생성하는 역할을 하며, 보조 흐름은 프롬프트 처리 시에는 비활성화되고, 응답 생성 단계에서만 추가적인 연산을 담당합니다. 두 흐름은 주요 어텐션(attention), MLP, 출력 행렬을 공유하면서도 토큰 임베딩(token embedding)과 경량의 연결(lightweight coupling)을 통해 독립적으로 작동합니다. 이로써 프롬프트 처리 비용을 고정하면서 응답 생성 연산만 늘리거나, 주어진 예산 내에서 두 흐름의 연산량을 재분배하는 등 유연한 제어가 가능해집니다.
이러한 듀얼-플로우 접근 방식은 특히 혼합 전문가(MoE) 모델에서 빛을 발합니다. 주요 흐름과 보조 흐름에 할당되는 전문가(expert) 연산량을 독립적으로 조절함으로써, 프롬프트 처리 비용, 응답 생성 비용, 그리고 예측 품질 사이의 균형을 최적화할 수 있습니다. 연구진은 이 모델이 기존 아키텍처 대비 낮은 검증 손실(validation loss)을 달성했음을 보여주며, 이는 LLM 추론 비용을 절감하고 효율성을 높이는 데 중요한 진전이 될 수 있음을 시사합니다. 결국, 이 기술은 LLM 서비스 제공자들이 하드웨어 자원을 보다 효율적으로 사용하고, 더 많은 사용자에게 서비스를 제공하면서도 운영 비용을 줄일 수 있는 길을 열어줄 것입니다.