2011년, 전설적인 언어학자 노암 촘스키(Noam Chomsky)는 통계적 언어 모델의 과학적 유효성에 대해 비판적인 시각을 드러냈습니다. 이에 대해 구글(Google)의 연구 책임자였던 피터 노빅(Peter Norvig)은 통계적 모델의 공학적 성공이 과학적 이해와 반드시 대립하는 것은 아니며, 오히려 모델의 성공과 실패 양상이 언어를 이해하는 중요한 근거가 될 수 있다고 반박했습니다. 이 논쟁은 당시 언어 처리 분야를 지배하던 통계적 접근법의 본질과 과학적 가치에 대한 깊은 성찰을 요구했습니다.
노빅은 촘스키의 비판이 주로 단순한 단어 마르코프 모델(Markov model)의 한계에 기반하고 있으며, 이는 구문 트리, 의미, 담화 구조를 다루는 더 복잡한 확률 모델의 가능성을 간과한다고 지적했습니다. 그는 통계적 모델, 확률 모델, 학습된 모델이 서로 다른 개념임을 명확히 하며, 뉴턴의 중력 법칙처럼 학습되지만 결정적인 모델도 존재함을 예시로 들었습니다. 또한, 확률 모델은 문법성의 경계가 모호하거나 드문 용법, 언어 변화 같은 현상을 연속적인 가능성으로 다루며, 관측되지 않은 문장에도 확률을 부여할 수 있어 전통적인 규칙 기반 모델의 한계를 극복한다고 설명했습니다. 당시 검색 엔진, 음성 인식, 기계 번역 등 주요 언어 처리 응용 분야에서 통계적 방법은 이미 지배적인 위치를 차지하고 있었으며, 품사 태깅(POS tagging)이나 구문 분석(parsing)에서도 높은 성능을 보였습니다.
이 논쟁은 공학적 성공이 과학적 목표나 척도의 유일한 기준은 아니지만, 무언가 제대로 작동한다는 강력한 증거이자 과학적 모델의 타당성을 뒷받침할 수 있다는 점을 강조합니다. 수십억 개의 매개변수를 가진 모델을 일일이 이해하기는 어렵지만, 모델이 성공하거나 실패하는 지점, 그리고 데이터가 늘어날 때 학습하는 방식 등을 분석함으로써 언어에 대한 깊은 통찰(insight)을 얻을 수 있습니다. 촘스키의 유명한 예시인 “무색의 초록색 생각들이 격렬하게 잠든다(colorless green ideas sleep furiously)”는 문장처럼, 통계 모델은 과거에 등장하지 않은 문장이라도 문법적 가능성을 학습 데이터에서 추론하여 높은 확률을 부여할 수 있습니다. 이는 단순히 예측 정확도를 넘어, 언어의 복잡한 규칙과 패턴을 모델이 어떻게 포착하는지를 보여주며, 언어 학습의 본질에 대한 새로운 관점을 제시합니다. 10여 년이 지난 지금, 대규모 언어모델(LLM)의 등장으로 통계적 학습의 중요성이 더욱 부각되면서, 이 논쟁은 인공지능 시대에 언어와 지능을 이해하는 데 여전히 유효한 질문들을 던지고 있습니다.