인공지능(AI) 시스템, 특히 인공 신경망 기반의 대규모 언어모델(LLM)이 인간의 수학적 지식의 경계를 확장할 수 있을지에 대한 기대가 커지고 있습니다. 이러한 시스템의 핵심 질문 중 하나는 훈련 데이터를 넘어선 새로운 개념을 얼마나 발견할 수 있는지입니다. 최근 arXiv에 발표된 연구 'Nothing from Something: Can a Language Model Discover 0?'는 언어모델이 '0'이라는 기본적인 수학적 개념을 독립적으로 발견할 수 있는지에 대한 흥미로운 실험 결과를 제시했습니다.
연구팀은 GPT-2(Generative Pre-trained Transformer 2) 규모의 언어모델을 대상으로 간단한 산술 연산을 통해 '0'의 개념 발견 능력을 평가했습니다. 그 결과, (1) 언어 사전 훈련 여부와 관계없이 GPT-2 규모의 모델은 훈련 데이터에 '0'이 포함되지 않은 상태에서는 테스트 시점에 '0'의 개념을 스스로 발견하지 못했습니다. 그러나 (2) '0'에 대한 수십 또는 수백 개의 예시로 추가 훈련(fine-tuning)을 진행하자 모델의 성능이 크게 향상되는 것을 확인했습니다. 특히, 언어 사전 훈련을 거친 모델은 '0'을 학습하는 데 필요한 예시의 수를 약 50% 줄여주어, 언어 능력이 수학적 발견을 위한 '발판(scaffold)' 역할을 할 수 있음을 시사했습니다.
이 연구는 인공지능이 단순히 주어진 데이터를 암기하거나 패턴을 인식하는 것을 넘어, 진정으로 새로운 수학적 구조를 가설화하고 발견하는 '분포 외 일반화(out-of-distribution generalization)' 능력에 대한 중요한 통찰을 제공합니다. 인간 인지에서 언어 능력이 이러한 일반화를 지원한다는 가설이 있는데, 이번 연구는 AI 모델에서도 언어 능력이 수학적 개념 학습에 긍정적인 영향을 미칠 수 있음을 실험적으로 보여주었습니다. 이는 미래 AI 시스템이 더욱 복잡하고 추상적인 수학적 개념을 학습하고 발견하는 데 있어 언어 모델의 역할과 잠재력을 탐구하는 데 중요한 기초가 될 것입니다.