Агенты быстро генерируют код, но качество этого кода часто остаётся под вопросом. Агент может «мухлевать»: писать тесты, которые формально проходят, но ничего не проверяют, или пропускать краевые случаи, потому что о них не попросили. «Почти правильный…
LLM‑фича может месяцами показывать хорошие метрики и при этом регулярно ошибаться на реальных запросах. В статье разберём 7 типичных провалов в оценке качества LLM‑систем: где ломаются эвалы, почему врут дашборды и как выстроить контроль, которому можно доверять в продакшене. Найти ошибки
Программисты должны быть параноиками. «Я дважды проверил код» «Код проходит все тесты» «Ревьюер одобрил мой код» «Так ли корректен мой код?» Писать код корректно трудно, а подтвердить корректность кода невозможно. Вот некоторые из причин этого: Всеобщность: даже если код…
Осторожность кажется полезной настройкой для ИИ-агента. Но три прогона на 100 реальных багах из SWE-bench дали обратный результат: «правила дисциплины» по мотивам советов Карпати снизили число исправлений примерно на 13%. Разберём результаты эксперимента и посмотрим, в какой момент разумные ограничения превращаются для агента в тормоза. Разобрать эксперимент