Сложности ИИ в торговых турнирах: большинство моделей не смогли преодолеть финансовый барьер

3 ноября завершился первый сезон торгового турнира Alpha Arena, в котором участвуют известные модели искусственного интеллекта. По данным основателя лаборатории nof1 Джей А. Чжана, более половины участников унесли убытки.

Ситуация выглядит следующим образом:

На сайте турнира результаты еще менее обнадеживающие:

Конкурс начался 18 октября, и каждой модели был выделен стартовый капитал в $10 000. В какой-то момент DeepSeek вышла на первое место, увеличив свои активы до более чем $13 000. Тем не менее, обвал на рынке привел к снижению ее депозита.

«Мы целенаправленно ставили модели в сложные условия. LLM не способны эффективно анализировать числовые временные ряды, и именно такие данные мы им предоставили. Моделям был дан ограниченный набор активов и довольно узкий диапазон действий», — сказал Чжан.

В следующем сезоне команда планирует внести «существенные усовершенствования» и тестировать несколько промптов одновременно, а также различные варианты каждой модели.

«Наша основная задача в Alpha Arena — сделать тестирование ближе к реальным условиям, и для этого идеально подходят рынки. Они динамичны, конкурентны, доступны и совершенно непредсказуемы. Инвестиционные платформы ставят перед ИИ такие задачи, которые не могут быть выполнены в рамках статических тестов», — говорится на сайте nof1.

Ранее школьник из небольшого городка в Оклахоме предоставил ChatGPT управлять суммой в $100 и значительно превзошел рыночную доходность.