최근 한 개발자가 개인 챗봇 프로젝트에서 Qwen 3:0.6B와 같은 초소형 로컬 대규모 언어모델(LLM)을 미세조정(fine-tuning)하여 질문 분류 성능을 크게 향상시킨 경험을 공유했습니다. 이 프로젝트는 가정 관련 질문(예: 수리, 일정)에 답하는 챗봇을 만드는 것으로, 벡터 데이터베이스 기반 검색 증강 생성(RAG) 시스템의 효율성을 높이기 위해 질문을 특정 메타데이터 카테고리(예: 수영장, 자동차, HVAC)로 분류하는 전처리 단계를 도입했습니다.
개발자는 Qwen 3:0.6B 모델을 활용하여 질문 분류를 시도했는데, 초기 프롬프트 엔지니어링만으로는 131개 테스트 중 단 13개(약 10%)만 정확하게 분류하는 저조한 성능을 보였습니다. 모델은 광범위한 카테고리를 과도하게 사용하거나 심지어 존재하지 않는 카테고리를 생성하기도 했습니다. 이에 개발자는 Unsloth 프레임워크와 QLora 미세조정 전략을 사용하여 약 850개의 가정 관련 질문 데이터셋으로 모델을 학습시켰습니다. 그 결과, 미세조정된 모델은 테스트 데이터셋에서 약 90%에 육박하는 정확도를 달성하며 질문 분류 능력이 비약적으로 개선되었습니다.
이 사례는 매개변수(parameter)가 적은 초소형 LLM이라 할지라도 특정 목적에 맞춰 미세조정하면 매우 높은 성능을 발휘할 수 있음을 입증합니다. 이는 대규모 모델에 대한 의존도를 줄이고, 온디바이스(on-device) 환경이나 비용에 민감한 애플리케이션에서 효율적인 AI 솔루션을 구축할 수 있는 가능성을 제시합니다. 특히, RAG 시스템에서 검색 공간을 효과적으로 좁혀 응답 품질과 효율성을 높이는 데 기여할 수 있어, 맞춤형 챗봇이나 정보 검색 시스템 개발에 중요한 시사점을 제공합니다.