В кибербезопасности существует подход под названием Red Teaming — когда одна команда имитирует атакующего, а другая защищает систему. С появлением больших языковых моделей тот же принцип стал применяться к ИИ. Только теперь атакуют не серверы и базы данных, а сами LLM-агенты —…
Red Teaming — это про обучение и подготовку защитников организации к отражению реальной атаки, а еще, конечно, про оценку общего уровня безопасности в компании. В предыдущем посте мы писали о мифах, которые сложились вокруг Red Teaming. Сегодня мы хотели бы рассказать о том, как его…
Термин Red Teaming слышали все, кто связан с информационной безопасностью напрямую или косвенно. Но не все до конца понимают, что это такое: зачем нужна оценка эффективности команды реагирования на инциденты? Что это за форма обучения команды защитников? Часто Red Teaming выдают за…
Привет, Хабр!Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы…