최근 개인 개발자가 운영하는 2026학년도 수능 LLM 평가에서 GPT-6 아스트라(Astra)가 전 영역에서 종합 450점 만점을 기록하며 대규모 언어모델(LLM)의 놀라운 성능을 입증했습니다. 이는 국어와 수학의 모든 선택과목, 영어, 한국사, 그리고 평가 대상 탐구 4과목을 모두 맞힌 결과로, 특히 기존 모델들이 해결하지 못했던 사회문화 8번 문제까지 풀어내 주목받고 있습니다.
이번 평가는 외부 검색이나 계산기 없이 진행되었으며, GPT-6 아스트라는 일반 모드에서 약 22만 6천 개의 입력 토큰과 약 13만 1천 개의 출력 토큰을 사용했습니다. 흥미로운 점은 한 문제씩 풀이하는 '일반 모드'에서는 만점을 받았지만, 한 과목의 모든 문제를 한꺼번에 입력하는 '고난도 모드'에서는 사회문화 8번을 틀려 448.5점을 기록했다는 것입니다. 또한, 평가 대상 수능 문제는 PDF에서 텍스트를 추출하고 수식은 LaTeX로 변환하며, 그래프와 도표는 이미지로 별도 첨부하는 방식으로 입력되었습니다. 다만, 아스트라의 지식 컷오프(knowledge cutoff)가 시험 이후일 가능성과 문제 학습 가능성이 있어, 미학습 문제에 대한 순수한 추론 능력만을 측정한 결과로 단정하기는 어렵다는 점이 실험 공개자에 의해 명시되었습니다.
GPT-6 아스트라의 이번 만점 기록은 대규모 언어모델(LLM)이 복잡한 한국어 지문 이해와 추론 능력에서 상당한 발전을 이루었음을 보여줍니다. 이는 교육, 콘텐츠 생성, 지식 검색 등 다양한 분야에서 LLM의 활용 가능성을 더욱 확장할 것으로 기대됩니다. 물론 문제 학습 가능성이라는 한계가 있지만, 이러한 벤치마크는 모델 개발자들이 개선해야 할 영역을 명확히 제시하고, 실제 세계 문제 해결에 LLM을 적용하기 위한 중요한 통찰을 제공합니다. 앞으로 LLM이 실제 수능과 같은 고난도 시험에서 학습 데이터의 영향을 받지 않고도 뛰어난 성능을 보일 수 있을지 귀추가 주목됩니다.