Включение реальности: Inclusion Arena предлагает новый подход к тестированию языковых моделей на основе предпочтений пользователей

Бенчмарки стали важным инструментом для компаний, позволяя определить, какие модели наилучшим образом подходят для их нужд. Однако не все тесты одинаково эффективны — многие из них основаны на статичных датасетах и искусственных условиях.

Команда исследователей из Inclusion AI, которая аффилирована с Ant Group от Alibaba, представила новый способ оценки и тестирования моделей. Этот подход сосредоточен на том, как языковые модели проявляют себя в реальных ситуациях, а также оценивает не только их знания, но и насколько пользователям нравятся их ответы.

В своем исследовании ученые описали платформу Inclusion Arena — динамический рейтинг, который ранжирует модели по предпочтениям пользователей.

«Чтобы устранить существующие недостатки, мы представляем Inclusion Arena — живой рейтинг, который связывает реальные AI-приложения с современными LLM и MLLM. В отличие от краудсорсинговых решений, наша система случайным образом организует „поединки моделей“ в ходе многотуровых диалогов между человеком и ИИ в реальных приложениях», — утверждается в статье.

Inclusion Arena выгодно отличается от традиционных рейтингов, таких как MMLU и OpenLLM, своей ориентированностью на практическое применение и уникальной методикой ранжирования. Она использует модель Брэдли—Терри, известную благодаря Chatbot Arena.

Суть проста: Inclusion Arena интегрируется в реальные AI-приложения, собирает данные и производит оценки с участием пользователей. Авторы признают, что на текущий момент количество доступных приложений ограничено, но стремятся создать открытую экосистему с возможностью участия многих.

На сегодня рынок насыщен различными рейтингами: практически каждая новая LLM от OpenAI, Google или Anthropic сразу начинает получать показатели в разных тестах. Например, Grok 3 от xAI смог занять высокие позиции в Chatbot Arena. Однако исследователи из Inclusion AI утверждают, что их система лучше отражает реальные преимущества моделей, что упростит клиентам осознанный выбор.

Inclusion Arena была вдохновлена Chatbot Arena и использует метод Брэдли—Терри. Для сравнения, Chatbot Arena также применяет метод Эло, который широко используется в шахматах для определения относительного уровня игроков.

Оба метода представляют собой вероятностные модели, но исследователи указывают, что Брэдли—Терри обеспечивает более стабильные результаты.

«Модель Брэдли—Терри представляет собой надежный инструмент для выявления скрытых способностей на основе попарных сравнений», — утверждается в статье. — Тем не менее, на практике, особенно при большом и постоянно увеличивающемся числе моделей, полный перебор всех пар может быть чрезмерно затратным и по ресурсам, и по времени, поэтому необходимы умные стратегии борьбы, которые позволят извлечь максимум информации при ограниченном бюджете».