Привет, меня зовут Николай Шуляев, я Security Business-партнёр Авито. Главный контекст, который необходимо понимать при построении архитектуры любого генеративного продукта с использованием LLM — это то, что модель не различает данные и инструкции. Модели всё равно, что является…
За последние несколько лет хайпа вокруг LLM образовался новый класс решений — LLM firewall. Его часто позиционируют как аналог WAF/FW для ИИ‑приложений: фильтрация входа и контроль выхода как базовый механизм защиты. Но на практике всё сложнее.В статье разбирается класс LLM firewall: какие угрозы он закрывает, новые вызовы и в каком направлении развивается безопасность AI‑систем Читать далее
Привет! Мы в Positive Technologies активно исследуем безопасность AI-агентов и подходы offensive AI security. Мир стремительно движется к повсеместному использованию LLM-агентов, автономных агентов и интеграций через MCP/Toolcalls — а значит, растет и пространство атак. Эта статья содержит разбор реальных примеров уязвимостей и атак на LLM-агенты, вдохновленный конкурсом Agent Breaker от Lakera, а также наш опыт построения собственного мультимодального фреймворка для red teaming. Читать далее
Большие языковые модели (LLM) научились не только генерировать текст, но и выполнять реальные задачи, используя команды на естественном языке. Это открыло новую эру в автоматизации, породив так называемых LLM-агентов. Исследование "API Agents vs. GUI Agents: Divergence and Convergence" от Microsoft разбирает два ключевых подхода к созданию таких агентов. Давайте посмотрим, в чем их суть, различия и перспективы. Читать далее