Второе Я: Революция в управлении личной памятью с помощью ИИ Second Me

Мы существуем в цифровой эпохе, общаясь в интернете, используя разнообразные приложения и веб-сайты, а также все чаще взаимодействуя с ИИ-агентами. В процессе этого мы постоянно повторяем одни и те же действия: вводим личные данные, отвечаем на похожие вопросы и вспоминаем детали предыдущих переговоров. Это не только становится изнурительным и создает дополнительную когнитивную нагрузку, но и затрудняет эффективное взаимодействие с технологиями. Исследователи из Китая разработали фреймворк под названием Second Me, который предназначен для управления личной памятью. Давайте разберемся, как это функционирует.

Существующие инструменты, такие как автозаполнение форм в браузере или системы единого входа (SSO), способны решить лишь часть задач. Они представляют собой стационарные хранилища данных, которые не учитывают контекст и не могут адаптироваться к нуждам пользователя. В результате, нам все равно необходимо вручную управлять этой информацией. Появление больших языковых моделей (LLM) открывает новые горизонты в подходах к управлению личной памятью, что и предлагают авторы статьи “AI-native Memory 2.0: Second Me”.

Основная задача разработки – создание фреймворка Second Me: интеллектуальной системы, которая будет “обрабатывать” и управлять личной памятью. Эта система должна стать не просто хранилищем данных, а динамическим посредником на основе ИИ, взаимодействующим с окружающим миром – людьми, сервисами и другими ИИ.

Ключевые функции Second Me заключаются в следующем:

Организация и хранение знаний пользователя в структурированном формате с помощью возможностей LLM;

Динамическое применение этих знаний для автоматической генерации ответов, предзаполнения форм и поддержания контекста беседы;

Снижение умственной нагрузки и упрощение взаимодействия пользователя с цифровыми системами;

Предоставление контекста, обогащая запросы пользователя к другим системам (например, экспертным ИИ) необходимой информацией о нем;

Разработка и тестирование полностью автоматизированного процесса (конвейера) для создания и дообучения личных моделей на основе данных пользователя.

По сути, авторы намерены создать “второе Я” для пользователя в цифровом пространстве, которое возьмет на себя рутинные задачи, связанные с использованием личной информации, и будет действовать проактивно, опираясь на контекст и потребности индивидуумов.

Для воплощения идеи Second Me авторы развивают свою прежнюю концепцию Large Personal Model (LPM) 1.0 и предлагают усовершенствованную трехуровневую гибридную архитектуру:

L0: Уровень сырых данных (Raw Data Layer): Неструктурированные пользовательские данные (документы, логи и др.). Здесь можно применять методики, такие как RAG (Retrieval-Augmented Generation).

L1: Уровень памяти на естественном языке (Natural Language Memory Layer): Структурированные или полуструктурированные данные на естественном языке (например, краткая биография, список предпочтений и важные факты).

L2: Уровень ИИ-памяти (AI-Native Memory Layer): Знания, усвоенные и организованные в параметрах LLM. Эта модель (L2) представляет собой сердце системы.

Ключевые новшества в Second Me по сравнению с LPM 1.0 заключаются в следующем:

Интеграция уровней: L0 и L1 более активно предоставляют контекст для модели L2.

Новая роль L2: Модель L2 теперь выступает не только как исполнитель, но и как координатор (оркестратор), управляющий взаимодействием с внешними экспертными моделями и ресурсами с позиции пользователя.

Полностью автоматизированный процесс обучения: Разработан пайплайн, включающий:

Генерацию данных: Автоматическое создание обучающих данных из сырых данных пользователя с помощью LLM (с внедрением стратегий Multi-agent и Chain-of-Thought (CoT));

Отбор данных: Многоуровневая фильтрация для выбора высококачественных примеров;

Обучение: Применение Parameter-Efficient Fine-Tuning (PEFT) для эффективной персонализации базовой LLM (Qwen2.5-7B-Instruct), а затем Direct Preference Optimization (DPO) для дообучения в соответствии с предпочтениями пользователя;

Оценка: Автоматизированная проверка качества модели с помощью LLM-критика (судьи) с использованием специально разработанных метрик и задач.

Особое внимание было уделено цепочкам размышлений (Chain-of-Thought, CoT). Были протестированы три стратегии (Weak, Multi-step, Strong) для улучшения способности модели к рассуждениям и качеству её ответов. Также рассматривалось влияние DPO на улучшение соответствия модели предпочтениям пользователя.

Для оценки эффективности модели разработаны три ключевые задачи:

Вопросы и ответы по памяти (Memory Q&A): Проверка способности извлекать и использовать информацию из памяти пользователя (для него самого и при взаимодействии системы с другими);

Дополнение контекста (Context Enhancement): Оценка способности модели дополнить запрос пользователя к внешнему сервису необходимыми деталями из его памяти;

Критика контекста (Context Critic): Оценка способности модели корректировать взаимодействие с внешним агентом, принимая во внимание предпочтения и контекст пользователя.

Стиль данных играет роль: Использование данных, сгенерированных в стиле “Strong CoT” (с четкой структурой рассуждений и ответов), значительно повышает производительность модели по всем задачам по сравнению с менее эффективными вариантами CoT;

DPO способствует персонализации: Применение Direct Preference Optimization (DPO) после Supervised Fine-Tuning (SFT) заметно улучшает качество модели. Она лучше учитывает индивидуальные предпочтения пользователя и эффективно использует необходимые данные из его записей (это видно на конкретных примерах);

Автоматическая оценка имеет ограничения: Хотя автоматизированная оценка с помощью LLM предоставляет возможность быстрой проверки моделей, она не всегда точно отражает реальное качество, как, например, критик может предпочитать более длинные ответы.

В целом, результаты подтверждают, что предложенный подход работает, а автоматизированный процесс эффективен для создания персональных ИИ-помощников памяти.

Статья представляет Second Me как многообещающий фреймворк для разработки персональных ИИ-систем нового поколения. Они смогут выступать в роли “второго Я” пользователей, расширяя их интеллектуальные возможности и упрощая взаимодействие с цифровой средой.

Тем не менее, текущий подход применяется только для одношаговых взаимодействий. Чтобы достичь дальнейших успехов, потребуется более сложная генерация многошаговых диалогов. Кроме того, существуют ограничения автоматической оценки и необходимость получения обширной обратной связи от реальных пользователей. К тому же текущее исследование сосредоточено на текстовых данных, но для полного охвата человеческого опыта необходимо внедрить и другие модальности (изображения, аудио и т. д.).

Тем не менее работа “AI-native Memory 2.0: Second Me” представляет собой важный шаг к созданию по-настоящему персонализированных и полезных ИИ-помощников. Представленная гибридная архитектура и автоматизированный процесс обучения выглядят перспективно. Открытый исходный код является значительным плюсом для дальнейшего развития и адаптации технологии сообщества.

***

Если вас интересует мир ИИ, подписывайтесь на мой Telegram-канал – я регулярно делюсь инсайтами по внедрению ИИ в бизнесе, запуску ИИ-стартапов и рассказываю, как работают все эти ИИ-технологии.