«Gemma 3 270M от Google: Компактный ИИ для эффективной работы на смартфонах»

Представлена Gemma 3 270M — наименьшая модель из семейства открытых моделей Gemma 3, разработанная специально для узкоспециализированных задач и дообучения. Модель является открытой и уже доступна на Hugging Face. Для Gemma 3 270M предусмотрены QAT-чекпойнты, которые позволяют эффективно запускать модель в формате INT4 с минимальными потерями в качестве — это критически важно для работы на устройствах с невысокой производительностью.

С всего лишь 270 миллионами параметров Gemma 3 270M поддерживает 140 языков, имеет словарь на 256 тысяч токенов и контекстный размер до 32 тысяч токенов. При использовании INT4-версии модели на Google Pixel 9 Pro, всего 0,75% батареи было потрачено на “25 диалогов” (возможно, имеется в виду 25 итераций вопросов и ответов – прим. ред.). Мультимодальные функции отсутствуют.

Специалисты Google подчеркивают, что Gemma 3 270M подняла планку выполнения инструкций среди компактных моделей. Ключевой момент заключается в том, что это не просто разговорный бот, а миниатюрный исполнитель заданий.

Основная область использования Gemma 270M — адаптация модели под конкретные задачи, что в случае этой версии занимает всего несколько часов. Искусственный интеллект может выполнять классификацию и структурирование текста, маршрутизацию запросов, извлечение данных и так далее. Благодаря низким требованиям к ресурсам, модель можно интегрировать в приложения или веб-сайты — одним из примеров является оффлайновый генератор сказок на ночь. Также возможно дообучение целого “оркестра” моделей, каждая из которых будет сфокусирована на своей специализированной задаче.

P.S. Вы можете поддержать меня подпиской на канал “сбежавшая нейросеть“, где я делюсь своими взглядами на ИИ с креативной стороны.