Вежливость с ИИ: Новое исследование опровергает эффективность этикета в взаимодействии с моделями

Недавнее исследование научных работников из Университета Джорджа Вашингтона выявило, что проявление вежливости по отношению к ИИ-моделям оказывается неэффективным с точки зрения использования вычислительных ресурсов.

Использование слов «пожалуйста» и «спасибо» в запросах незначительно сказывается на качестве ответов чат-ботов.

Авторы исследования обнаружили, что вежливый язык часто «ортогонален» к значимым хорошим и плохим токенам вывода, что влияет «незначительно на скалярное произведение». Это означает, что такие слова располагаются в разных областях внутреннего пространства модели и практически не влияют на итоговый результат.

Эти выводы противоречат японскому исследованию 2024 года, которое утверждало, что вежливые обращения способствуют улучшению работы искусственного интеллекта. В этом исследовании тестировались GPT-3.5, GPT-4, PaLM-2 и Claude-2.

Дэвид Акоста, директор по искусственному интеллекту компании Arbo AI, отметил, что отличия в результатах обусловлены излишней простотой модели из Университета Джорджа Вашингтона.

«Несоответствующие результаты о вежливости и работе ИИ часто связаны с культурными различиями в обучающих данных, тонкостями дизайна запросов для определённых задач и контекстными интерпретациями вежливости. Это подчеркивает необходимость проведения кросс-культурных исследований и разработки специализированных систем оценки для более точного анализа влияния», — прокомментировал он.

Команда, стоящая за новым исследованием, признала, что их модель «умышленно упрощена» по сравнению с коммерческими системами, такими как ChatGPT. Тем не менее, они считают, что применение их подхода к более сложным нейросетям приведёт к аналогичным результатам.

«Качество ответа ИИ зависит от обучения LLM, которое создаёт эмбеддинги токенов, и от самих токенов в запросе, а не от того, использовали ли мы вежливые формы обращения», — утверждается в исследовании.

Стоит напомнить, что в апреле CEO OpenAI, Сэм Альтман, сообщил, что компания затратила миллионы долларов на ответы пользователей, обращавшихся с «пожалуйста» и «спасибо».