Почему понимание токенов, весов и словарей — ключ к продуктивной работе с AI-агентами. Первая глава цикла “Битва за контекст”. Читать далее
Много сейчас рассуждений о "general AI", полном превосходстве во всех областях над человеком и всё такое. Допустим это случится, как будет ЛЛМ себя вести умея всё кардинально лучше?Ответ очевидно зависит от того чему его научили - так что для проверки я специально создал ситуацию "очень тупой человек играет с ЛЛМ в игру". Читать далее
Когда речь заходит о ЛЛМ и классификации, первая мысль — попросить модель сгенерировать класс через промптирование модели с описанием правил и добавлением примеров. Для небольшого количества классов это работает. Но для 100+ классов (или даже 20-30) — уже нет: контекст раздувается,
Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил. Читать далее