2019년, 오픈AI는 당시 최신 대규모 언어모델(LLM)인 GPT-2의 전체 버전을 공개하지 않기로 결정하며 AI 업계에 큰 파장을 일으켰습니다. 사람과 구별하기 어려운 텍스트를 생성하는 GPT-2의 강력한 성능이 악의적으로 사용될 수 있다는 우려 때문이었습니다. 이는 AI 기술의 잠재적 위험성에 대한 대중의 인식을 높이고, 책임 있는 AI 개발의 중요성을 부각하는 계기가 되었습니다.
GPT-2는 이전 모델인 GPT-1의 직접적인 확장 버전으로, 아키텍처는 동일하지만 매개변수(parameter)와 학습 데이터의 양에서 큰 차이를 보였습니다. GPT-1이 1억 1,700만 개의 매개변수를 가졌던 반면, GPT-2는 10배 이상 많은 15억 개의 매개변수로 40GB에 달하는 웹 텍스트를 학습했습니다. 이러한 규모의 확장은 모델이 더 많은 언어 지식과 이해력을 흡수하게 하여, 언어 모델링, 독해, 질문 응답, 요약 등 다양한 벤치마크에서 당시 최고 수준의 성능을 달성했습니다. 특히 미세조정(fine-tuning) 없이도 다양한 작업을 수행하는 제로샷(zero-shot) 학습 능력이 뛰어났습니다.
오픈AI는 9개월간의 신중한 검토 끝에 2019년 11월 GPT-2의 15억 매개변수 버전을 공개했습니다. 이 기간 동안 오픈AI는 GPT-2가 생성한 텍스트가 인간이 작성한 것과 매우 유사하며, 악용될 가능성이 높다는 점을 확인했습니다. 하지만 동시에 실제 악용 사례는 발견되지 않았고, 책임 있는 공개를 위한 기준 마련이 필요하다는 결론에 도달했습니다. 이러한 경험은 오늘날 챗GPT와 같은 강력한 AI 모델을 개발하고 배포하는 과정에서 오픈AI가 윤리적 고려와 안전 장치 마련에 더욱 집중하게 된 중요한 배경이 되었습니다. GPT-2의 사례는 AI 기술 발전과 함께 사회적 책임에 대한 논의가 얼마나 중요한지를 보여주는 상징적인 사건으로 남아있습니다.