«Character.AI ограничивает доступ подростков к ИИ-персонажам после трагических инцидентов»

Основной причиной изменения политики стала цепь судебных разбирательств и печальных случаев.

Платформа Character.AI, позволяющая взаимодействовать с ИИ-персонажами, ограничит доступ для пользователей младше 18 лет. Это решение принято на фоне ряда судебных исков.

«Мы столкнулись с трудностями при принятии решения о приостановке функции свободного общения, но уверены, что это наилучший шаг в текущих обстоятельствах», — заявляют представители проекта.

До 25 ноября время общения с ботами для пользователей моложе 18 лет будет снижаться. Сначала лимит составит два часа в день, затем он постепенно уменьшится до полной остановки чат-функции.

Character.AI предложит подросткам новые формы творчества, такие как создание видео, написание рассказов и проведение стримов с ИИ-персонажами.

Чтобы подтвердить возраст пользователей, платформа внедрит комплексную систему, объединяющую возможности Character.AI и решения сторонних разработчиков, например, Persona.

Кроме того, будет основан и финансироваться некоммерческий AI Safety Lab, который займется разработкой новых стандартов безопасности для развлекательных функций искусственного интеллекта.

Против Character.AI было подано несколько исков. Один из них поступил от матери 14-летнего мальчика, который покончил с собой в 2024 году, попав под влияние ИИ-персонажа из сериала «Игра престолов».

В ответ на множество жалоб платформа уже внедрила родительский контроль, уведомления о времени использования и фильтрацию ответов персонажей.

В августе OpenAI поделилась намерениями по улучшению ChatGPT в случаях с «чувствительной информацией». Эти меры инициировались также в результате иска от семьи, которая обвинила чат-бота в трагедии с их сыном.

Похожие шаги предприняла Meta, которая пересмотрела методы обучения своих ИИ-ботов, сделав акцент на безопасность подростков.

Позже OpenAI заявила о планах перенаправлять конфиденциальные беседы на аналитические модели и внедрить родительский контроль. В сентябре компания представила версию чат-бота для подростков.

27 октября OpenAI обнародовала информацию о том, что около 1,2 миллиона из 800 миллионов активных пользователей еженедельно обсуждают с ChatGPT темы суицида.

Также 560 000 пользователей проявляют признаки психоза или мании, а 1,2 миллиона показывают чрезмерную эмоциональную привязанность к боту.

«Мы недавно обновили модель ChatGPT для лучшего распознавания пользователей в стрессовых ситуациях и оказания им поддержки. Помимо стандартных показателей безопасности, в базовый тест включена оценка эмоциональной зависимости и кризисов без суицида — это станет стандартом для всех будущих моделей», — отметили в компании.

Тем не менее, многие специалисты полагают, что принятых мер недостаточно. Бывший исследователь безопасности OpenAI Стивен Адлер предостерег от возможных последствий бурного развития ИИ.

Он сообщил, что компания, стоящая за ChatGPT, фактически не имеет убедительных доказательств реального улучшения защиты уязвимых пользователей.

«Люди заслуживают большего, чем просто слов о решении проблем безопасности. Другими словами: докажите, что вы действительно сделали что-то», — подчеркнул он.

Адлер похвалил OpenAI за предоставление некоторой информации о психическом здоровье пользователей, но призвал «действовать более активно».

В начале октября экс-сотрудник стартапа провел исследование инцидента с канадцем Алланом Бруксом, который впал в заблуждение после того, как ChatGPT поддерживал его уверенность в открытии революционных математических принципов.

Изучая этот инцидент, Адлер выяснил, что инструменты OpenAI, разработанные совместно с MIT, смогли бы классифицировать более 80% ответов чата как потенциально опасные. По его мнению, компания фактически не использовала свои защитные механизмы.

«Я хотел бы, чтобы OpenAI приложила больше усилий для правильного поведения еще до появления давления со стороны СМИ или судебных исков», — добавил эксперт.

Напоминаем, в октябре исследование показало, что искусственный интеллект демонстрирует признаки деградации из-за влияния социальных сетей.