Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил. Читать далее
Я хотел, чтобы кодовый агент работал целиком на ноутбуке, без облака: локальная модель, локальный сервер, агент в терминале. Главная боль с самого начала — скорость. Агент постоянно перечитывает длинный контекст и много «думает», и на локальном железе это превращается в минуты ожидания на каждую задачу. Читать далее
«У нас есть память между окнами» — это мы писали в README и на Хабре. Но ни разу не проверяли, что агент в новом окне действительно вспоминает вчерашнее. Проверил на своей рабочей базе. В новом окне агент без памяти вспомнил 0 фактов из 10, со skillmem — 10 из 10. А пока я добывал цифру для README, нашлись три бага: треть заметок не попадала в базу, пересказы сессий забивали поиск, и агент не доверял правилам, которые я сам ему продиктовал. Читать далее
Каждый может сделать так: локальный проект → github С (платным) ssh доступом вы сможете сделать так: локальный проект → PythonAnywhere В статье показано как (бесплатно) сделать так: локальный проект → github → PythonAnywhere Сначала я перечислю, зачем вам это может быть нужно, а затем перейду к тому как реализовать. Не стесняйтесь просколлить статью, если первая часть вам не интересна. Читать дальше →