OpenAI объявила, что в течение ближайших недель начнёт внедрять в ChatGPT и Codex технологию невидимой маркировки текстов textGrain для пользователей в Евросоюзе. Это связано с требованиями европейского Закона об искусственном интеллекте. Пользователи OpenAI API по всему миру уже могут по желанию включить такую маркировку для некоторых моделей, однако по умолчанию функция отключена.
Сам детектор водяных знаков пока не станет общедоступным. На первом этапе доступ к нему получат одобренные исследователи и экспертные организации, которые помогут OpenAI протестировать и усовершенствовать технологию.
TextGrain работает за счёт статистической закономерности в выборе слов и их частей при генерации текста. Для обычного читателя такой сигнал незаметен, однако специальный детектор OpenAI может обнаружить его и оценить, был ли текст сгенерирован или обработан системой компании.
При этом водяной знак не позволяет определить конкретного пользователя, его аккаунт, запрос или переписку с ChatGPT. Он также не показывает, какая часть текста была написана человеком.
OpenAI предупреждает, что технология не обеспечивает стопроцентную точность. В одном из тестов для текстов длиной около 200 токенов водяной знак обнаруживался примерно в 80% случаев, а при 400 токенах — примерно в 95% при уровне ложных срабатываний около 1%. Однако эффективность зависит от типа текста.
Редактирование также заметно ослабляет сигнал. В тестах OpenAI замена 10% слов синонимами снизила вероятность обнаружения водяного знака примерно с 92% до 66%, а замена четверти слов — до 17%. Поэтому отсутствие метки не будет означать, что текст точно написал человек.
Ранее Anthropic также объявила о внедрении невидимой маркировки текстов, генерируемых Claude. Компания решила применять технологию глобально, а не только для пользователей из ЕС.