«ByteDance революционизирует роботов: новый ИИ-«мозг» GR-3 для умных помощников в быту»

Компания ByteDance, владелица TikTok, анонсировала новую систему, которая служит “мозгом” для роботов. Эта система позволяет выполнять домашние обязанности, такие как развешивание одежды и уборка со стола.

GR-3 представляет собой крупную языковую модель, основанную на взаимодействии зрения и языка, что позволяет роботам понимать команды на естественном языке и выполнять различные задачи, даже с незнакомыми объектами. Она может адаптироваться к новым условиям и справляться с абстрактными концепциями, связанными с размерами и пространственными отношениями.

В опубликованном видеоролике, доступном на сайте, показано, как двурукий лабораторный робот ByteMini успешно вставляет вешалку в рубашку и вешает её на стойку.

В отдельном техническом отчете команда сообщила, что робот успешно обрабатывает одежду с короткими рукавами, хотя на этапе обучения использовались только модели с длинными рукавами.

С помощью GR-3 робот способен выполнять команды по выбору конкретной вещи из нескольких и размещать её в указанном месте.

Система умеет распознавать объекты не только по их названиям, но также по размеру (к примеру, “большая тарелка”) или пространственным характеристикам (например, “слева”). Она может выполнить задачу “убрать обеденный стол” по одной лишь команде.

Для обучения модели ByteDance применяла многоаспектный подход, который включает в себя:

«Мы надеемся, что GR-3 станет важным шагом к созданию универсальных роботов, которые смогут оказывать поддержку людям в их повседневной жизни», — заявила команда.

Напоминаем, что в январе стартап Perplexity AI объявил о своём желании приобрести американскую часть TikTok. Компания сделала предложение ByteDance объединить Perplexity, TikTok U.S. и новых инвесторов в единую юридическую структуру.