최근 바이트 단위 대규모 언어모델(LLM)은 토크나이저(tokenizer) 없이 데이터를 처리하며 주목받고 있습니다. 토크나이저가 없다는 것은 언어의 복잡성이나 특정 언어에 얽매이지 않고 원시 바이트(raw bytes) 수준에서 직접 학습한다는 의미로, 유연성과 범용성을 높일 수 있습니다. 이 모델들은 바이트들을 동적으로 크기가 변하는 패치(patch)로 묶어 처리하는데, 기존 아키텍처는 모든 패치에 동일한 밀집 피드포워드(dense feed-forward) 연산을 적용하여 비효율적이라는 한계가 있었습니다.
이러한 한계를 극복하기 위해 제안된 EntropyMoE는 동적 바이트 패치에 최적화된 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처입니다. EntropyMoE는 기존 트랜스포머(Transformer)의 밀집 피드포워드 모듈을 Top-K 전문가 레이어(expert layers)로 대체합니다. 여기서 각 동적 패치는 전문가 라우팅(expert routing)의 기본 단위가 되며, 패치의 바이트 범위가 작업 부하(workload) 기여도를 결정합니다. 특히, 라우터(router)는 패치의 엔트로피(entropy)를 직접 활용하여 전문가를 선택합니다. 이 엔트로피는 동적 패치 구성의 기반이 되는 신호와 동일하며, 이를 통해 희소(sparse) 연산을 효율적으로 조직합니다. 패치 엔트로피와 길이는 전문가 전문화(expert specialization)를 조절하는 특징 공간을 공동으로 정의합니다.
실험 결과, EntropyMoE는 기존의 밀집 및 희소 기준 모델(baselines) 대비 가장 낮은 비트당 바이트(bits-per-byte)를 달성하면서도, 다운스트림(downstream) 정확도를 유사하게 유지했습니다. 이는 패치 엔트로피가 희소 조건부 연산(sparse conditional computation)을 위한 효과적인 라우팅 좌표임을 입증하며, 전문가 혼합 모델링의 적용 범위를 토크나이저 기반 표현을 넘어 확장합니다. 이 연구는 토크나이저 없는 LLM의 효율성과 성능을 한 단계 끌어올릴 수 있는 중요한 발전이며, 향후 다국어 및 멀티모달(multimodal) 모델 개발에도 긍정적인 영향을 미칠 것으로 기대됩니다.