대규모 언어모델(LLM)의 능력은 방대한 학습 데이터에서 비롯됩니다. 하지만 만약 LLM이 특정 지식 수준, 예를 들어 초등학교 5학년 수준의 자료만 학습한다면 어떻게 될까요? 'LittleLearner'라는 최근 연구는 이러한 질문에 답하기 위해, 미국 초등학교 K-5 교육과정으로 제한된 880억 토큰 규모의 말뭉치인 'LittleCurriculum'를 구축하고, 이를 이용해 훈련된 LLM의 능력을 검증했습니다.
연구팀은 FineWeb-Edu 데이터를 Common Core K-5 표준에 맞춰 5단계 필터링 파이프라인을 거쳐 'LittleCurriculum'를 만들었습니다. 이 과정에서 5학년 이후의 개념, 사실, 어휘는 명시적으로 배제되었습니다. 이렇게 제한된 데이터로 0.6B, 1.3B, 5B 규모의 'LittleLearner' 모델을 처음부터 훈련했으며, 아키텍처, 토큰, 훈련 방식이 동일한 비필터링 대조군과 비교했습니다. 실험 결과, 모델 규모를 확장해도 교육과정 내부의 학습 궤적 문제에는 효과가 있었지만, 범위 밖의 고급 문제에는 거의 도움이 되지 않았습니다. 또한, 범위 밖 데이터로 진행한 후속 훈련(GRPO)이나 프롬프트를 이용한 문맥 내 학습(in-context learning) 역시 5학년 이후의 새로운 추론 능력을 부여하지 못했습니다.
이 연구는 LLM의 사전 학습 데이터 경계가 모델 능력의 상한선을 결정한다는 중요한 시사점을 던집니다. 즉, 모델의 규모를 키우거나 추가 훈련, 문맥 내 학습을 통해 이미 학습한 능력을 끌어낼 수는 있지만, 학습 데이터 범위 밖의 새로운 지식을 의미 있게 획득하기는 어렵다는 것입니다. 이는 LLM이 '확률적 앵무새'처럼 학습한 내용을 반복할 뿐, 진정한 의미의 지능이나 창발적 사고를 하는 것은 아니라는 주장에 힘을 실어줍니다. 앞으로 이 연구는 제한된 지식 범위에서 강화학습을 통한 새로운 능력 발견, 지속 학습 시 효율성 및 기억 유지 측정, 그리고 교육 과학 분야에서 인간 아동의 학습 과정과 LLM의 학습 과정을 비교하는 등 다양한 후속 연구의 기반이 될 수 있습니다.