학생의 학습 성과를 예측하는 지식 추적(Knowledge Tracing, KT) 모델은 교육 기술(EdTech) 분야에서 핵심적인 역할을 합니다. 그러나 대부분의 KT 모델은 예측 과정이 불투명하여, 왜 특정 학생이 특정 문제를 틀리거나 맞히는지에 대한 명확한 설명을 제공하기 어려웠습니다. 이러한 '블랙박스' 문제는 교육자가 학생의 학습 부진 원인을 정확히 파악하고 맞춤형 교육 전략을 수립하는 데 큰 걸림돌이 되어왔습니다.
최근 발표된 연구는 이러한 문제를 해결하기 위해 예측 경쟁력(predictive competitiveness), 설명 안정성(explanation stability), 재훈련 기반 신뢰도(retraining-based faithfulness)를 동시에 검증하는 새로운 프로토콜을 제안했습니다. 이 연구는 ASSISTments 2009와 2012 데이터셋을 활용하여 5가지 교육학적 주제에 걸쳐 13가지 행동 특징을 추출했습니다. 특히, Extreme Gradient Boosting(XGBoost) 모델을 Tree SHapley Additive exPlanations(TreeSHAP)와 함께 사용하여, 기존 심층 학습 기반의 KT 모델(DKT, SAKT, AKT, SimpleKT)과 비교 분석했습니다. 그 결과, XGBoost 모델은 심층 학습 모델과 유사한 수준의 예측 정확도(AUC 0.777~0.786)를 보이면서도, 예측에 영향을 미치는 요인들을 안정적이고 신뢰성 있게 설명할 수 있음을 입증했습니다. 이는 모델 자체의 성능 차이라기보다는, 모델에 제공되는 정보의 질이 중요하다는 점을 시사합니다.
이 연구는 교육 기술 분야에 중요한 시사점을 제공합니다. 예측 모델이 단순히 학생의 성과를 맞히는 것을 넘어, 그 예측의 근거를 명확하게 제시할 수 있다면 교육자는 학생의 학습 패턴과 어려움을 더 깊이 이해할 수 있습니다. 예를 들어, 특정 개념에 대한 반복적인 오답, 문제 풀이 시간, 특정 유형의 문제에 대한 반응 등 다양한 행동 특징들이 학생의 학습 상태를 설명하는 데 활용될 수 있습니다. 이러한 투명성은 교육자가 개별 학생에게 최적화된 학습 경로를 제안하고, 효과적인 피드백을 제공하며, 궁극적으로 학생들의 학습 효율을 극대화하는 데 기여할 것입니다. 이는 미래 교육이 나아가야 할 개인화된 학습(personalized learning) 방향과도 일치합니다.