В ИИ‑системах даже обычный документ может стать источником команд для модели. Если агент имеет доступ к инструментам с широкими полномочиями, одна удачная prompt injection способна привести к утечке данных или нежелательным действиям. Разбираемся, как выстроить защиту на уровне архитектуры: от разделения доверия до контроля действий агента, с примерами реализации на Python. Изучить принципы защиты
Deno is a runtime for JavaScript and TypeScript that uses V8 and is built in Rust. Multi-threaded programs were able to spoof interactive permission prompt by rewriting the prompt to suggest that program is waiting on user confirmation to unrelated action. A malicious program could clear the terminal screen after permission prompt was shown and write a generic message. This situation impacts users who use Web Worker API and relied on interactive permission prompt. The reproduction is very timing sensitive…
Команда AI for Devs подготовила перевод краткой выжимки свежих статей о безопасности LLM. Meta предлагает «Правило двух» — архитектурный принцип, ограничивающий права AI-агентов, чтобы защитить их от prompt injection. А исследователи из OpenAI, Anthropic и Google DeepMind показывают: все существующие защиты легко обходятся адаптивными атаками. Читать далее
ИИ-агенты берут на себя задачи по улучшению кода, исправлению ошибок и даже автоматической отправке pull request’ов. Эти агенты также обещают значительно ускорить рефакторинг. Недавнее исследование показало, что современные ИИ-агенты хорошо исправляют код с типовыми…