최근 대규모 언어모델(LLM) 개발 추세가 흥미로운 변화를 보이고 있습니다. 모델들이 의도적으로 사실적 지식(factual knowledge) 저장량을 줄이고, 대신 추론(reasoning) 능력에 집중하는 방향으로 진화하고 있다는 분석입니다. 이는 모델의 연산 효율성을 극대화하고, 빠르게 변하는 세상의 지식은 외부 도구로 보완하려는 전략적 선택으로 풀이됩니다.
실제로 AIME 2026과 같은 수학 및 코딩 벤치마크에서 최신 소형 모델들은 놀라운 성능 향상을 보입니다. 예를 들어, Qwen3.5 9B 모델은 6GB VRAM에 양자화되어 10B 이하 모델 중 최고 점수를 기록했습니다. 반면, 단순 사실 질문(factual question)에 대한 답변 정확도는 크게 떨어집니다. SimpleQA 벤치마크에서 현존 최고 모델인 Gemini 2.5 Pro도 53%의 정답률에 그치며, 소형 모델들은 80~82%의 높은 환각(hallucination) 비율을 보입니다. 이는 모델 개발자들이 방대한 세계 지식 대신 문제 해결 절차와 같은 추론 능력에 매개변수(parameter)를 할당하고 있기 때문입니다. 지식은 매개변수당 약 2비트의 공간을 차지하며, 모든 세부 정보를 저장하려면 모델 크기가 기하급수적으로 커지지만, 추론 절차는 훨씬 효율적으로 압축될 수 있습니다.
이러한 변화의 핵심에는 '지식은 낡고(rot), 절차는 낡지 않는다(don't rot)'는 통찰이 있습니다. 수억 달러가 드는 모델 학습이 끝나자마자 내부 지식은 빠르게 구식이 되지만, 문제 분해, 중간 상태 추적, 자기 검증과 같은 추론 절차는 시간이 지나도 변하지 않습니다. 따라서 모델은 추론 엔진 역할에 집중하고, 최신 지식은 검색(retrieval), 도구 호출(tool calls), 웹 검색(web search) 등 외부 '하네스(harness)'를 통해 실시간으로 공급받는 방식이 효율적입니다. 이는 에이전트(agent)가 코딩 시 API 문서를 실시간으로 찾아보는 것과 같은 원리입니다. 이 패러다임은 값비싸고 느린 모델 학습과 매일 변하는 세상의 지식을 분리하여, 소비자가전(consumer GPU)에서도 구동 가능한 고품질 추론 모델 시대를 열 것으로 기대됩니다.