Вы выкатили AI-агента в прод. Пользователи пишут: «он мне чушь ответил». Вы открываете логи, смотрите на промпт, на ответ — и не понимаете: это регрессия после вчерашней правки промпта? Проблемы после смены модели? Или просто краевой случай, который всегда был?Знакомо? Нам —…
Зачем использовать бенчмарки для оценки LLM? Бенчмарки LLM помогают оценивать точность больших языковых моделей, обеспечивая стандартизированную процедуру измерения метрик выполнения различных задач. Бенчмарки содержат все структуры и данные, необходимые для оценки LLM, в том…
Память ИИ‑агентов: как агенты запоминают, забывают и учатсяВсем привет! Продолжаю рассказывать и делиться своим опытом создания и внедрения ИИ-агентов. Сегодня давайте поговорим про память ИИ-агентов. Я поделюсь какие типы памяти использую чаще всего, поговорим про базовый минимум без которого нет смысла пытаться строить ИИ-агентов. Начнём с того как вообще работает контекстное окно и почему его не хватает, потом разберём какие типы памяти бывают, как они хранятся и как подгружаются в контекст. Читать далее
Мы делаем kaeru — память для ИИ‑агентов вроде Claude Code и Codex. Несколько месяцев мы строили ее по ощущениям, а потом пошли читать логи своих агентов и проверять, как они на самом деле пользуются памятью. Многое оказалось не так, как мы думали, и почти все выводы — не про kaeru, а про агентов вообще. Если вы пишете свой MCP‑сервер, хук или просто длинные инструкции для агента, часть этого пригодится и вам. Читать далее