대규모 언어 모델(LLM) 개발 및 운영에 필수적인 텍스트 토큰화(tokenization) 과정이 획기적으로 빨라질 전망입니다. 마르셀 로드(Marcel Roed)가 개발한 'GigaToken'은 기존 허깅페이스(HuggingFace) 토크나이저나 오픈AI(OpenAI)의 틱토큰(Tiktoken)보다 최대 1000배 빠른 속도로 텍스트를 토큰으로 변환할 수 있다고 발표했습니다. 이는 LLM 학습 및 추론 과정에서 데이터 전처리 속도 병목 현상을 크게 완화할 수 있는 중요한 진전입니다.
GigaToken은 러스트(Rust) 언어로 구현되었으며, 다양한 CPU 하드웨어와 대부분의 주요 토크나이저를 지원합니다. 특히, 허깅페이스 모델 이름만으로도 토크나이저를 초기화할 수 있으며, 기존 허깅페이스 토크나이저나 틱토큰 API와 호환되는 '호환 모드'를 제공하여 기존 코드에 최소한의 변경으로 적용할 수 있습니다. 호환 모드에서는 성능 저하가 일부 발생하지만, 여전히 기존 토크나이저보다 훨씬 빠르며, GigaToken 자체 API를 사용하면 러스트 구현이 데이터를 직접 읽어 최대 병렬 처리를 통해 최고의 성능을 발휘합니다. 11.9GB에 달하는 'owt_train.txt' 데이터셋 벤치마크 결과, AMD EPYC 9565 프로세서 환경에서 GPT-2 모델의 경우 GigaToken이 24.53 GB/s를 기록하며 허깅페이스 토크나이저(24.8 MB/s) 대비 약 989배, 틱토큰(36.0 MB/s) 대비 약 681배 빠른 속도를 보였습니다.
이러한 속도 향상은 대규모 언어 모델의 학습 데이터 전처리 시간을 극적으로 단축하고, 실시간 추론(inference) 시 지연 시간을 줄이는 데 크게 기여할 것입니다. 특히 방대한 양의 텍스트 데이터를 다루는 연구자나 기업에게는 학습 비용 절감과 개발 효율성 증대로 이어질 수 있습니다. GigaToken은 이미 멀티스레딩(multithreading)을 지원하는 러스트 기반의 기존 토크나이저들보다도 훨씬 빠른 성능을 보여주며, 이는 데이터 처리 방식과 병렬화(parallelization) 전략의 최적화를 통해 달성된 것으로 보입니다. 앞으로 LLM 생태계 전반에 걸쳐 데이터 처리 파이프라인의 표준을 높이는 중요한 도구가 될 것으로 예상됩니다.