오픈AI(OpenAI)가 유럽연합(EU)의 AI 법안(AI Act)을 준수하기 위해 챗GPT(ChatGPT)와 코덱스(Codex)가 생성한 텍스트에 보이지 않는 워터마크를 도입한다고 발표했습니다. 이는 지난 8월 2일 발효된 EU AI 법안의 투명성 규정에 따른 조치로, AI 기업은 AI 생성 콘텐츠를 식별할 수 있는 방식으로 표시해야 합니다. 워터마크는 EU 내 모든 챗GPT 및 코덱스 사용자에게 향후 몇 주 내로 적용될 예정이며, API 개발자는 전 세계 어디서든 선택적으로 이 기능을 활성화할 수 있습니다.
이 워터마크는 실제 눈에 보이는 기호가 아니라, 모델의 단어 선택에 미묘한 패턴을 심어 독자는 인지할 수 없지만 탐지기는 식별할 수 있도록 작동합니다. 텍스트 자체에 내재되어 있어 복사 및 붙여넣기 시에도 유지됩니다. 오픈AI는 이 워터마크가 사용자 신원을 식별하지 않으며, 모델 성능에도 유의미한 변화가 없었다고 밝혔습니다. 또한, 펜실베이니아 대학교 및 예일 대학교 연구진과 공동으로 개발한 '텍스트그레인(textGrain)'이라는 기술 보고서를 공개하며, 비밀 키를 이용해 다음 단어 예측을 정렬하는 방식으로 AI 생성 콘텐츠를 탐지하는 원리를 설명했습니다.
그러나 오픈AI의 자체 테스트 결과, 텍스트를 수정하면 워터마크 탐지율이 낮아지는 한계가 드러났습니다. 예를 들어, 단어의 10%를 동의어로 교체했을 때 탐지율이 약 92%에서 66%로 떨어졌습니다. 짧은 문장, 수학 문제 답변, 번역된 텍스트 역시 탐지가 더 어렵다고 합니다. 이러한 한계 때문에 오픈AI는 초기에는 승인된 연구원과 전문가 기관에만 탐지기 접근 권한을 제공하여 신뢰성과 책임 있는 사용 방안을 평가할 계획입니다. 워터마크가 없다고 해서 반드시 사람이 작성했다고 볼 수도 없으며, 텍스트가 너무 짧거나 많이 수정되었거나 다른 회사의 AI에서 생성되었을 가능성도 있다고 경고했습니다.
이번 조치는 AI 생성 콘텐츠의 투명성과 책임성을 높이려는 전 세계적인 노력의 일환입니다. 앞서 앤트로픽(Anthropic)은 클로드(Claude)가 생성한 텍스트에 전 세계적으로 워터마크를 적용하겠다고 발표했으나, 일부 사용자들은 AI가 도구일 뿐 콘텐츠의 주체는 사용자라고 주장하며 반발하기도 했습니다. 구글(Google), 메타(Meta), 마이크로소프트(Microsoft) 등 주요 AI 기업들도 EU의 AI 생성 콘텐츠 관련 행동 강령을 준수하겠다고 약속한 바 있습니다. 오픈AI는 이전에 텍스트 워터마크 기술을 개발했으나, 사용자들이 워터마크를 적용하지 않는 경쟁사로 이동할 것을 우려해 출시를 보류했었습니다. 이번 EU AI 법안 발효로 인해 AI 생성 콘텐츠의 출처를 명확히 하는 것이 업계의 중요한 과제가 되고 있습니다.