OpenAI начнет добавлять невидимый водяной знак к текстам, созданным ChatGPT и Codex для пользователей в Европейском союзе. Компания связывает эту меру с требованиями Закона ЕС об искусственном интеллекте (EU AI Act).

Правила прозрачности, предусмотренные законом, вступили в силу 2 августа. Они требуют от компаний маркировать контент, созданный искусственным интеллектом, способом, который могут распознавать другие системы.

В ближайшие недели OpenAI начнет внедрять водяной знак для пользователей ChatGPT и Codex в ЕС независимо от выбранного тарифного плана. Разработчикам, использующим API OpenAI, функция уже доступна для некоторых моделей, однако по умолчанию она отключена. В компании уточнили, что пока не планируют делать водяной знак глобальным стандартом.

Технология не добавляет к тексту видимый символ или специальный знак. Вместо этого она незначительно меняет выбор слов моделью, благодаря чему в тексте формируется определенный статистический шаблон.

Читатель не должен заметить разницу. При этом специальный детектор может выявить характерную структуру. Поскольку информация встроена непосредственно в слова, она сохраняется и после копирования текста в другое место.

OpenAI утверждает, что водяной знак не позволяет установить личность конкретного пользователя. Компания также заявляет, что не выявила существенного ухудшения работы моделей при включенной функции.

Метод получил название textGrain. OpenAI опубликовала технический доклад, подготовленный совместно с исследователями Пенсильванского университета и Йельского университета.

Технология использует секретный ключ, который определяет порядок выбора вероятных следующих слов при генерации текста. После накопления сотен подобных небольших изменений возникает шаблон, распознаваемый детектором по самому тексту и соответствующему ключу.

Однако система не является неуязвимой. Собственные тесты OpenAI показали, что редактирование текста может существенно снизить надежность обнаружения.

В одном из экспериментов замена всего 10% слов на синонимы снизила результативность детектора примерно с 92% до 66%. Короткие тексты, математические ответы и переводы также труднее распознавать.

Поэтому OpenAI пока не будет предоставлять свободный доступ к детектору. Компания планирует открыть его для одобренных исследователей и специализированных организаций, которые будут оценивать надежность технологии и возможные варианты ее применения.