최근 대규모 언어모델(LLM)의 급부상으로 인해 고전적인 머신러닝 방법론들이 설 자리를 잃는 것 아니냐는 의문이 제기되고 있습니다. 이에 대한 답을 찾기 위해, 텍스트 분류 작업에서 나이브 베이즈(Naive Bayes, NB)와 다양한 규모의 LLM(270억~1조 개 매개변수)의 성능을 비교 분석한 연구 결과가 발표되었습니다.
연구에 따르면, LLM은 레이블된 데이터가 전혀 없는 '제로샷(zero-shot)' 환경에서만 나이브 베이즈보다 우위를 보였습니다. 예를 들어, 아마존 감성 분석(Amazon Polarity sentiment) 작업에서 LLM은 98.0%의 정확도를 기록하며 나이브 베이즈(88.2%)를 앞섰습니다. 하지만 데이터 오염도가 낮은 감성 분석 작업에서는 오히려 나이브 베이즈가 81.7%로 제로샷 LLM(73.0%)을 능가하는 결과도 나왔습니다. 흥미로운 점은 레이블된 데이터가 일단 확보되면, 나이브 베이즈는 LLM과 통계적으로 구별하기 어려운 수준의 정확도를 달성한다는 것입니다. AG 뉴스(AG News) 데이터셋에서 나이브 베이즈는 89.1%의 정확도를 보였는데, 이는 270억 개 매개변수 LLM의 89.0%와 거의 같고, 심지어 3,970억 개 매개변수 최신 모델의 84.8%보다도 높은 수치입니다. 또한, 나이브 베이즈는 일반 CPU에서 초당 수천 개의 샘플을 처리할 수 있어, 배치 크기 1에서 미세조정(fine-tuned)된 디스틸버트(DistilBERT)보다 훨씬 높은 처리량(throughput)을 보여주었습니다.
이 연구는 자원 제약이 있는 고성능 컴퓨팅(HPC) 환경에서 텍스트 분류를 수행하는 실무자들에게 중요한 시사점을 제공합니다. GPU 기반의 소형 LLM 추론(inference)은 나이브 베이즈의 CPU 추론보다 40~486배 느리며, 샘플당 에너지 소모는 약 두 자릿수 낮게 측정되었습니다. 이는 메모리 대역폭(memory bandwidth)에 의해 발생하는 구조적 격차를 보여줍니다. 즉, 레이블된 데이터가 충분한 텍스트 분류 작업에서는 나이브 베이즈가 여전히 최적의 선택이 될 수 있다는 의미입니다. 연구팀은 작업 유형에 따라 LLM과 나이브 베이즈의 성능이 동등해지는 레이블 수($N$)가 달라진다고 설명하며, 모델 선택을 자동화하는 쿠버네티스 헬름(Kubernetes Helm) 오퍼레이터도 제공합니다. 결론적으로, LLM이 만능 해결책은 아니며, 특정 조건과 자원 제약 하에서는 고전적인 방법론이 여전히 강력한 대안이 될 수 있음을 보여줍니다.