Привет! Мы в Positive Technologies активно исследуем безопасность AI-агентов и подходы offensive AI security. Мир стремительно движется к повсеместному использованию LLM-агентов, автономных агентов и интеграций через MCP/Toolcalls — а значит, растет и пространство атак. Эта статья содержит разбор реальных примеров уязвимостей и атак на LLM-агенты, вдохновленный конкурсом Agent Breaker от Lakera, а также наш опыт построения собственного мультимодального фреймворка для red teaming. Читать далее
Большие языковые модели (LLM) научились не только генерировать текст, но и выполнять реальные задачи, используя команды на естественном языке. Это открыло новую эру в автоматизации, породив так называемых LLM-агентов. Исследование "API Agents vs. GUI Agents: Divergence and Convergence" от Microsoft разбирает два ключевых подхода к созданию таких агентов. Давайте посмотрим, в чем их суть, различия и перспективы. Читать далее
Память ИИ‑агентов: как агенты запоминают, забывают и учатсяВсем привет! Продолжаю рассказывать и делиться своим опытом создания и внедрения ИИ-агентов. Сегодня давайте поговорим про память ИИ-агентов. Я поделюсь какие типы памяти использую чаще всего, поговорим про базовый минимум без которого нет смысла пытаться строить ИИ-агентов. Начнём с того как вообще работает контекстное окно и почему его не хватает, потом разберём какие типы памяти бывают, как они хранятся и как подгружаются в контекст. Читать далее
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые