В прошлой статье я показал, как исследователи перепутали "aware" (регистрация) с "conscious" (осознание). Но это не случайность — это часть нарратива, который строят AI-лаборатории. Anthropic — лидеры этого тренда. Разберём их последнюю статью, где "выученный паттерн" стал "злым намерением Читать далее
Исследователи Anthropic собрали LLM-агента, который читает код Python-библиотек, сам формулирует свойства, пишет property-based тесты на Hypothesis и ищет контрпримеры. В результате он нашёл баги в NumPy, aws-lambda-powertools, tokenizers и других проектах — часть патчей уже приняли мейнтейнеры. Разбираемся, как работает такой агент, почему property-based тестирование хорошо подходит для LLM и где у подхода пока границы. Читать далее
Команда AI for Devs подготовила перевод краткой выжимки свежих статей о безопасности LLM. Meta предлагает «Правило двух» — архитектурный принцип, ограничивающий права AI-агентов, чтобы защитить их от prompt injection. А исследователи из OpenAI, Anthropic и Google DeepMind показывают: все существующие защиты легко обходятся адаптивными атаками. Читать далее
Автор оригинала известен более всего статьей о человеке, который убил Гугл. На хабре даже был перевод. В последние годы Эд в основном пишет про финансовые проблемы компаний, занимающихся генеративным ИИ. Это перевод одной из статей на эту тему, посвященный недавней новости о том, что Anthropic вот-вот выйдет в прибыль. Читать далее