Как перестать доверять LLM-судье на слово и построить безопасную двухконтурную систему оценки?Внутри статьи:Архитектурный паттерн сдерживания: почему у классической нормализации должно быть право вето.CI-инварианты: как ловить галлюцинации моделей с помощью враждебных фикстур в grounded-judge-gate.Разбор факапов: три реальных бага проектирования, которые едва не увели систему в ложноположительное пике. Читать далее
Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасные ответы и создаёт ложное ощущение надёжности. Разбираем семь ошибок тестирования LLM‑функций и способы построить eval, результатам которого действительно можно доверять. Проверить свой eval
Уже более двадцати лет в индустрии принято тестировать написанный код до выкатывания его в продакшн. Люди придумали unit-тесты, acceptance-тесты, интеграционные тесты, property-based тесты. Люди даже придумали TDD, чтобы удостовериться в том, что тесты на самом деле работают. Люди придумали…
Захожу я в английский клуб. Там все сидят, выпивают, в карты играют. Смотрю — в очко режутся! Сел я за столик, взял карты. У меня — 18. А мой соперник говорит: «20». Я ему: «Покажи!». А он мне: «Мы, джентльмены, верим друг другу на слово». И вот тут-то мне поперло.Но в ИБ так не пройдет, нужна здоровая паранойя. Поэтому на слово не верим никому, в том числе и инструментам анализа, а сначала их проверяем. Читать