Сегодня одним из главных препятствий на пути внедрения машинного обучения в бизнес является несовместимость метрик ML и показателей, которыми оперирует топ-менеджмент. Аналитик прогнозирует увеличение прибыли? Но ведь нужно понять, в каких случаях причиной увеличения станет…
Когда LLM перестаёт быть просто чат-интерфейсом и начинает сама планировать шаги, вызывать инструменты и общаться с другими агентами, ломаются и привычные способы контроля. В статье — о том, почему для агентных систем уже недостаточно мерить качество ответа, какие новые метрики нужны для оценки их работы и как меняются требования к безопасности, трассировке и эксплуатации таких архитектур. Читать далее
Я часто слышу, что метрики — не для IT: не в строчках же кода считать эффективность. Но мы в Циан уже несколько лет используем метрики в оценке разработки и знаем, как их использовать во благо.Меня зовут Алексей Чеканов, я CTO в Циан. Я расскажу, что такое хорошие и плохие метрики, в чём можно измерять эффективность IT. Читать далее
В статье я затрону важную тему — какие метрики должен знать и использовать продуктовый дизайнер. На примере Домклик мы посмотрим с какими метриками работает наш дизайн-отдел и ответим на следующие вопросы:1) Какие метрики должен знать и использовать продуктовый дизайнер? 2) Почему это так важно и какие метрики стоит держать под рукой?3) Изучим методы сбора и анализа полученных данных.* бонусом разберём несколько примеров. Читать далее →