Привет, Хабр! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub, представляем фреймворк LLaMator, победивший на хакатоне AI Product Hack в кейсе от компании Raft. Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM). Читать далее
Привет, Хабр!Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы…
Термин Red Teaming слышали все, кто связан с информационной безопасностью напрямую или косвенно. Но не все до конца понимают, что это такое: зачем нужна оценка эффективности команды реагирования на инциденты? Что это за форма обучения команды защитников? Часто Red Teaming выдают за…
Red Teaming — это про обучение и подготовку защитников организации к отражению реальной атаки, а еще, конечно, про оценку общего уровня безопасности в компании. В предыдущем посте мы писали о мифах, которые сложились вокруг Red Teaming. Сегодня мы хотели бы рассказать о том, как его…