Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса, долю успешных задач. Это полезно для общего контроля ситуации, но почти бесполезно для реальной диагностики системы.Например, если success rate упал с
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей читабельности, очень уж бюрократический язык в оригинале.Статью авторы называют «руководством для…
Фильтр для чайника: — тонкая лазерная перфорация; — сверхглубокая конструкция; — идеально подходит для чайников Karl Weis. Поставляется в подарочной коробке. Материал: нержавеющая сталь Размер: 7,2×6,7×13,5 см Вес: 60 г Фильтр для чайников с подставкой Weis Д7х6,5см, Н13,5см, сталь нержавеющая в наличиивозможна доставка. Цена: 2920.00 ₽ КУПИТЬ
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз — получил то же самое.А пару лет назад я начала тестировать продукты на LLM. И почти всё, на чём держится классический QA, перестало работать. Не «усложнилось» — перестало работать как метод.Ниже — где именно ломается, по пунктам. Если вы тестировщик и заходите в AI, это ваша новая реальность. Читать далее