최근 한 개발자가 앨런 튜링(Alan Turing)의 아이디어와 강화 학습(Reinforcement Learning, RL) 원리를 접목하여, 단 400만 개의 매개변수(parameter)를 가진 소형 AI 모델이 마치 어린아이처럼 글을 읽고 말하는 법을 스스로 학습하도록 훈련하는 데 성공했습니다. 이 모델은 방대한 레이블링된 데이터 대신 시뮬레이션 환경에서 경험을 통해 파닉스(phonics)를 익혔으며, 영국 초등학교 1학년 파닉스 시험(Phonics Screening Check)에서 40점 만점에 36.6점을 기록하며 합격 기준을 넘어섰습니다.
이 '앵무새(parrot)'라 불리는 모델은 맥북(MacBook)에서 훈련되었으며, 그림책과 교사의 음성 시뮬레이션을 통해 학습했습니다. 모델은 글자를 픽셀 이미지로 보고, 교사의 발음을 듣고 따라 하며, 파닉스 규칙을 모방하여 익혔습니다. 특히 'glove'와 같은 불규칙 단어(irregular words)도 스스로 읽는 법을 터득했는데, 이는 아이들이 소리 내어 읽으면서 단어의 철자를 스스로 학습하는 '자기 학습 가설(self-teaching hypothesis)'과 유사한 방식으로 작동합니다. 모델은 정답지가 주어지지 않은 채, 교사와 비슷하게 발음하고, 올바른 그림을 가리키며, 듣는 사람이 이해하는지에 따라 보상(reward)을 받으며 학습을 진행했습니다.
이 프로젝트는 대규모 언어모델(LLM)이 방대한 양의 인간이 레이블링한 데이터로 학습하는 현재의 주류 방식에 도전하는 의미를 가집니다. 리치 서튼(Rich Sutton)과 데이비드 실버(David Silver) 같은 강화 학습 전문가들은 에이전트(agent)가 인간의 판단을 모방하는 대신, 세상과의 상호작용을 통해 결과를 바탕으로 학습해야 한다고 주장합니다. 이 소형 모델의 성공은 적은 자원으로도 복잡한 인지 능력을 학습할 수 있음을 보여주며, 미래 AI가 인간처럼 경험을 통해 배우는 방식으로 진화할 가능성을 시사합니다. 이는 특히 자원 제약이 있는 환경이나 특정 도메인에 특화된 AI 개발에 새로운 방향을 제시할 수 있습니다.