Память ИИ-агента: не в модели, а в вашей базе
Короткий ответ: памяти у модели нет. Каждый запуск она начинает с нуля и не знает ни вас, ни того, о чём вы говорили вчера.
Память ИИ-агента - это три вещи рядом с моделью: ваша база, инструменты, которыми агент в неё ходит, и кусок текста, который подставляется в начало каждого разговора. Всё это пишете вы, а не поставщик модели.
Дальше - как это устроено в моём трекере задач. Он работает каждый день, и память в нём копится сама из встреч. Про агента целиком я писал отдельно, здесь только про то, как он помнит.
Из чего собрана память
Три слоя, и они решают разные задачи.
Профиль в промпте. Короткий текст про меня: чем занимаюсь, кто вокруг, и главное - как узнать мои реплики в расшифровке встречи. Он подмешивается в системный промпт при каждом запуске и кэшируется на десять минут, чтобы не дёргать базу на каждое сообщение. Это то, что агент знает всегда, не спрашивая.
База. Обычный Postgres. Таблица людей на двадцать колонок: имя и как его называют в разговоре, компания, чем занимается, чем может помочь, что просил у меня, когда виделись в первый и последний раз, сколько раз всего. Отдельно встречи с расшифровками, отдельно задачи, отдельно единая таблица кусков текста, по которой идёт поиск.
Инструменты. Двадцать пять ручек, которыми агент достаёт из базы то, что ему нужно прямо сейчас. Не вся память едет в контекст, а один ответ на один вопрос. Как это устроено технически, разбирал в статье про MCP-сервер.
Разница между базой и контекстом важнее, чем кажется. База стоит ноль, пока её не читают. Контекст стоит денег при каждом обращении и забывается, как только разговор кончился.
Откуда она берётся: встречи пишут её сами
Руками память не наполняется никогда. И это не лень: заводить карточки вручную перестаёшь примерно на третьей неделе, а дальше база только устаревает.
У меня она растёт из созвонов. Запись встречи приезжает расшифровкой, и дальше агент вытаскивает из неё задачи, договорённости о времени и людей. Незнакомого человека он не выдумывает, а показывает карточку и спрашивает.
Разбирать всё подряд дорого, поэтому бот сначала спрашивает, надо ли:
📝 Пришла встреча: <название>
Разобрать внимательно - починить расшифровку, определить, кто говорил,
и завести человека в базу? Если это дейли или проверка связи, жми «не надо».
[🔍 разобрать] [🚫 не надо]
Ответа нет три часа - крон сам ставит «не надо» и делает быстрый проход: только задачи, без починки расшифровки и без карточек. Кнопка при этом остаётся рабочей, нажатие позже возвращает встречу в очередь на полный разбор.
Главная ошибка: разрешить писать в память молча
Первая версия заводила карточки сама. За месяц база знакомых превратилась в помойку: выдуманные люди, дубли одного человека в трёх написаниях и - самое дорогое - чужим людям достался мой собственный опыт. В карточке человека, который этого не говорил, стояло «открыла несколько школ программирования».
Причина не в модели, а в том, что расшифровка врёт систематически. Метки
спикеров бывают A и B, а бывает A, B, C, D при двух участниках. При
записи через Google Meet один канал иногда дробится на четверых. А если метка
именная, имя регулярно стоит не на том человеке: на одной моей встрече метка A
была мной, а метка с моим именем - собеседником. Ровно наоборот.
Справочнику, в котором такое встречается, перестаёшь верить целиком. И он становится бесполезен весь, а не наполовину.
Теперь новый человек не попадает в базу молча. Сначала черновик, потом карточка с кнопками: «всё верно», «контакты позже», «не заводить». Если в базе есть похожие, добавляется кнопка «это он, дополни» - карточка не плодится, а дополняется фактами с новой встречи. В таблицу людей запись уходит только после нажатия, а у самой карточки есть поле «кем подтверждена»: пустое значит «заведена автоматически, не проверена».
Как агент понимает, где в расшифровке я
Решается это тоже памятью. Я завёл короткие факты о себе: компания, роль, проект, город, продукт. Для каждого спикера считается, сколько моих фактов встретилось в его репликах. У кого заметно больше, тот и я.
Правило «владелец задаёт вопросы» не работает и было источником ошибок: на интервью вопросы задают оба. Работает предмет речи: я говорю про ценник, конверсию и рынок, собеседник про своих клиентов. Если улик мало, агент обязан спросить, а не выбрать повероятнее. Перевёрнутая расшифровка хуже неразобранной, потому что ей верят.
Искать надо по обстоятельству, а не по имени
Через два месяца после знакомства в голове остаётся не имя, а обрывок: «был парень, занимался рассрочками». Поэтому поиск идёт по имени, псевдонимам, роду занятий, экспертизе, заметкам - и по расшифровкам встреч, где человек участвовал. Последнее важнее всего: если имя записано с ошибкой, найти человека можно только по тому, о чём он говорил.
Выдача возвращает различающий признак, а не список одинаковых имён. И отдельно помечает рукопожатие: сам вопрос человек не закрывает, но у него команда или круг, где такие люди есть. В первой версии это терялось - модель отвечала «подходящих нет» и молчала про тех, кто выведет на нужных за один шаг.
Где это ломается
Карточки молча не доходили. Функция возвращала «отправлено», сообщения не
было. Запрос из базы в телеграм обрывался по таймауту: в журнале лежало
error_msg: Timeout of 5000 ms reached, а рукопожатие занимало 4,85 секунды.
Подняли лимит до двадцати секунд. И в следующий раз рукопожатие заняло 19,8.
Вылечилось тем, что база перестала ходить наружу сама и зовёт нашу же облачную
функцию. Если у вас база шлёт сообщения напрямую, проверьте это до того, как
потеряете что-то важное.
Длинные встречи нельзя отдавать модели целиком. Первая версия просила переписать расшифровку заново, уже с правильными именами. На встрече в 68 тысяч знаков прогон шёл десять минут и не дошёл до конца, а на такой длине модель незаметно переходит с дословной расшифровки на пересказ. Сейчас модель решает только, какая метка кому принадлежит, и отдаёт маленький JSON. Префиксы строк подменяет база, механически. Быстро, дёшево и дословно.
Оригинал не перезаписывается никогда. Исправленная версия лежит в отдельной колонке. Если разбор окажется неверным, его переделают из исходника, а не будут гадать, что там было.
Кому это не нужно
Тем, у кого десяток задач и две встречи в неделю. Память окупается на объёме, при десяти знакомых она проигрывает блокноту.
Тем, кто ждёт, что агент будет помнить «всё». Он помнит то, что вы догадались положить в базу. Переписок, которые туда не попали, для него нет.
Тем, кто не готов к первому месяцу. Карточки пустые, факты о владельце пустые, формулировки придётся править. И эти недели никуда не денутся.
И честное ограничение: вектора у меня до сих пор нет, поиск полнотекстовый. Таблица кусков устроена так, что эмбеддинг добавится колонкой и фоновой дозаписью, но включать его раньше объёма смысла нет. Такую же память я собирал второй раз, когда делал ассистента под заказ, и там повторилось то же самое: сначала работает поиск по словам, вектор ждёт.
Свой ИИ-агент: от пустой базы до бота, который ведёт ваши дела
Собираем агента, который принимает задачи из телеграма, помнит людей и встречи и будит вас по срокам. На вашей подписке и бесплатном плане базы.
Этот путь я прошёл сам. Можем встретиться и собрать такое у вас: вы уходите не с записью урока, а с работающей системой и пониманием, как она устроена.
С чего начинать, зависит от того, что у вас уже есть. Что-то стоит и не заводится - разберём только это. Нет ничего - начнём с нуля. Поэтому цену называю после короткого разговора.
Написать в телеграмНапишите в бота, что у вас уже есть и что хотите собрать. Сообщение придёт мне лично, дальше договоримся о времени и оплате. Что можно разобрать по этой теме
Пишу про свои автоматизации в телеграм-канале: короткие заметки по ходу работы, без расписания и без рекламы.
Читать каналЕсли нужна не инструкция, а готовое решение под ваш бизнес - напишите мне, обсудим задачу.