Вы выкатили AI-агента в прод. Пользователи пишут: «он мне чушь ответил». Вы открываете логи, смотрите на промпт, на ответ — и не понимаете: это регрессия после вчерашней правки промпта? Проблемы после смены модели? Или просто краевой случай, который всегда был?Знакомо? Нам —…
Зачем использовать бенчмарки для оценки LLM? Бенчмарки LLM помогают оценивать точность больших языковых моделей, обеспечивая стандартизированную процедуру измерения метрик выполнения различных задач. Бенчмарки содержат все структуры и данные, необходимые для оценки LLM, в том…
Память ИИ‑агентов: как агенты запоминают, забывают и учатсяВсем привет! Продолжаю рассказывать и делиться своим опытом создания и внедрения ИИ-агентов. Сегодня давайте поговорим про память ИИ-агентов. Я поделюсь какие типы памяти использую чаще всего, поговорим про базовый минимум без которого нет смысла пытаться строить ИИ-агентов. Начнём с того как вообще работает контекстное окно и почему его не хватает, потом разберём какие типы памяти бывают, как они хранятся и как подгружаются в контекст. Читать далее
Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 1]LLM глючит в продакшене? ???? Хватит надеяться на «vibe-check»! Узнай, как внедрить инженерный подход к качеству ИИ-агентов. В статье:???? Что такое Golden Set и почему его нельзя заменить ручной проверкой ???? Как автоматически создать Golden Set через Knowledge Graph для RAG системы ???? Готовый Python-код для генерации тестов в RAGAS Читать далее