Опасности дипфейков: Как видеомодель Sora 2 от OpenAI генерирует дезинформацию

Видеомодель Sora 2 от OpenAI создавала правдоподобные видео с ложными данными в 80% случаев после получения соответствующих запросов. Исследование провели специалисты из NewsGuard.

Из 20 предложенных промптов 16 привели к созданию дезинформации, причем 11 из них были успешны с первой попытки. Пять тем ранее использовались в российских кампаниях по распространению фальшивых новостей, отметили авторы исследования.

Модель сгенерировала поддельные кадры, на которых предположительно молдавский чиновник уничтожает пророссийские бюллетени, американская иммиграционная служба задерживает маленького ребенка, а представитель Coca-Cola сообщает о том, что компания не будет спонсировать Супербоул.

Ничего из перечисленного на самом деле не происходило. Видеоматериалы выглядели достаточно убедительно, чтобы ввести в заблуждение пользователей, пролистывающих ленту.

Специалисты NewsGuard установили, что создание таких видеоматериалов занимает всего несколько минут и не требует особых технических навыков, а удаление водяного знака осуществляется легко.

«Некоторые видео, созданные с помощью Sora, оказались более убедительными, чем оригинальные посты, ставшие основой вирусных фейков. Например, ролик с задержанием ребенка агентами ICE выглядит значительно более реалистично, чем исходное размазанное и обрезанное изображение, с которого началось ложное утверждение», — говорится в отчете.

OpenAI столкнулась с еще одной проблемой после выпуска Sora 2 — дипфейками с участием Мартина Лютера Кинга и других исторических персонажей. Пользователи создавали видео, на которых лидер борьбы за гражданские права якобы крадет из магазинов, убегает от полиции и воспроизводит расовые стереотипы. Его дочь охарактеризовала аналогичные видео как «уничижительные» и «абсурдные».

Стартап признал, что видеогенератор создает «неуважительный» контент, и удалил возможность использования образа Кинга.

Подобные случаи происходили и с другими известными личностями. Дочь Робина Уильямса — Зельда — попросила в Instagram не присылать ей видео с использованием ИИ с изображением ее отца.

В течение трех недель компания несколько раз корректировала свою политику: сначала разрешила создание фальшивых роликов, потом ввела систему согласия для владельцев прав, далее заблокировала использование определенных личностей, а в итоге установила правила для утверждения от знаменитостей и защиты их голосов.

Напомним, в октябре дипфейки с Сэмом Альтманом заполонили новое социальное приложение Sora от OpenAI.