대규모 언어모델(LLM)을 활용한 인공지능(AI) 튜터가 교육 분야에서 주목받고 있지만, 학교 현장에 적용하기에는 높은 비용, 학생 개인 정보 보호 문제, 그리고 특정 기업 모델에 대한 의존성 등 여러 장벽에 부딪히고 있습니다. 이러한 문제의 해결책으로 소형 언어모델(SLM)이 유망한 대안으로 떠오르고 있으며, 특히 초중고(K-12) 교육 환경에서 그 잠재력이 크게 평가됩니다.
최근 H. 채드 레인(H. Chad Lane) 연구진은 블록 기반 프로그래밍 교육 환경인 VEX VR에서 언어모델의 컴퓨터 과학(CS) 튜터 성능을 평가하는 새로운 벤치마크 'CSTutorBench'를 발표했습니다. 이 벤치마크는 17개의 시나리오 기반 질문과 교육학적 평가 기준을 바탕으로 하며, 인간 검증자가 참여하는 LLM 기반 평가 파이프라인을 활용합니다. 40억 개에서 1200억 개에 이르는 다양한 매개변수(parameter)를 가진 11개 모델을 대상으로 한 예비 연구 결과, 모델들은 어휘나 어조 같은 표면적인 기준에서는 우수한 성능을 보였지만, 정답 유출 방지나 학생의 디버깅(debugging) 이력에 대한 심층적인 개입과 같은 교육학적 행동에서는 어려움을 겪는 것으로 나타났습니다. 특히, 모델의 매개변수 수보다는 모델 계열(family)과 명령어 미세조정(instruction-tuning) 방식이 튜터링 품질을 더 잘 예측하는 경향을 보였습니다.
이번 연구는 교육 환경에 특화된, 교육학적 기반의 벤치마크가 소형 언어모델(SLM)을 교육 분야에 효과적으로 도입하는 데 얼마나 중요한지를 강조합니다. 특정 교육 시나리오에 맞춰 프롬프트(prompt)를 개선하는 것만으로도 모델 성능이 향상될 수 있음을 보여주며, 이는 교육용 AI 튜터 개발자들이 모델 선택과 최적화 과정에서 고려해야 할 중요한 지점입니다. 앞으로 SLM이 교육 현장의 실질적인 요구를 충족시키기 위해서는 단순히 언어 능력뿐 아니라, 학생의 학습 과정을 이해하고 적절한 피드백을 제공하는 교육학적 역량을 강화하는 방향으로 연구와 개발이 이루어져야 할 것입니다.