Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы доступа к базам данных. Читать далее
Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая…
Приоритизация уязвимостей является важным этапом, входе которого необходимо оценить риск и последовательность устранения уязвимостей в приоритете - от самого критического до самого низкого риска.В предыдущей статье я описывал визуализацию уязвимостей с помощью Budibase, в этой статье я опишу собственную реализацию оценки приоритетности устранения уязвимостей и добавлю функционал на Budibase платформу. Читать далее
Как злоумышленники могут использовать слабые места агентов ИИ с поддержкой баз данных? В этом исследовании рассматривается, как уязвимости при генерации SQL-запросов, внедрение сохранённых подсказок (stored prompt injection) и отравление векторных хранилищ (vector store poisoning) могут быть применены злоумышленниками для организации мошеннических действий. Читать далее