대규모 언어모델(LLM)의 발전은 다양한 분야에서 혁신을 가져왔지만, 사전 학습(pre-training) 과정의 비효율성은 여전히 큰 과제로 남아있습니다. 최근 발표된 논문 'LoKiFormer'는 이러한 비효율성을 해결하기 위한 새로운 LLM 아키텍처를 제안하며, 기존 모델보다 1.33배 빠른 사전 학습 속도를 달성했다고 밝혔습니다.
LoKiFormer는 기존 LLM 아키텍처의 두 가지 주요 한계를 극복하는 데 초점을 맞췄습니다. 첫째, 셀프 어텐션(self-attention) 메커니즘은 지역성(locality)에 대한 명시적인 귀납적 편향(inductive bias)이 부족하여, 시퀀스 내부의 지역 정보를 중복적으로 모델링하는 비효율이 있었습니다. LoKiFormer는 이를 해결하기 위해 합성곱(convolutional) 융합을 어텐션에 통합한 '지역 융합 어텐션(Local Fusion Attention, LFA)' 모듈을 도입하여, 지역 패턴을 명확하게 포착하고 더 유익한 표현에 기반한 어텐션 연산을 가능하게 했습니다. 둘째, 전문가 혼합(Mixture-of-Experts, MoE) 방식은 지식 저장과 연산 경로가 암묵적으로 결합되어 있어, 시퀀스 외부의 전역 지식(global knowledge)에 유연하게 접근하기 어려웠습니다. LoKiFormer는 이를 개선하고자 '지식 메모리 모듈(Knowledge Memory Module, KMM)'을 도입했습니다. 이 모듈은 매개변수화된 키-값 메모리(parametric key-value memory)를 통해 전역 지식을 주소 지정 가능한 슬롯에 명시적으로 저장함으로써, 저장과 연산을 분리하고 직접적인 지식 검색을 가능하게 합니다.
이러한 LoKiFormer의 혁신적인 접근 방식은 LLM의 사전 학습 효율성을 크게 높여, 모델 개발에 소요되는 시간과 비용을 절감할 수 있다는 점에서 중요한 의미를 가집니다. 특히, 사전 학습 속도 향상은 더 크고 복잡한 모델을 더 빠르게 실험하고 배포할 수 있게 하여, LLM 연구 및 상용화에 가속도를 붙일 것입니다. 또한, 지역 및 전역 지식 통합의 효율성 증대는 모델의 전반적인 이해력과 추론(inference) 능력을 향상시켜, 다양한 응용 분야에서 LLM의 성능 발전을 이끌 것으로 기대됩니다.