В ML легко перепутать аккуратное число с честной вероятностью: модель выдаёт predict_proba = 0.9, и кажется, что событие произойдёт в 90% случаев. Но это не всегда так. В статье разбираем, почему выход модели может быть просто внутренней оценкой уверенности, чем…
Модель показывает хороший ROC AUC, но её predict_proba может серьёзно искажать реальную вероятность события. Например, логистическая регрессия с class_weight="balanced" предсказала отток 35% клиентов при фактических 11% — и такой прогноз легко превращается в завышенный бюджет на удержание. Разбираемся на примерах из scikit-learn, почему модели ошибаются в оценке вероятностей, как проверить их калибровку и когда её стоит исправлять. Разобраться в калибровке
Теорема (формула) Байеса позволяет выяснить вероятность события при условии, что произошло связанное с ним другое событие.Теорема позволяет рассчитать вероятность события, если причину и следствие поменять местами. Например, мы знаем распространенность симптома среди больных и здоровых. Значит, мы можем вычислить вероятность заболевания от наличия симптома. Читать далее
Знаете, есть такой старый анекдот про математика, который отказывается лететь на самолёте, потому что посчитал вероятность теракта. Друзья его уговаривают:«Ну что ты, вероятность же ничтожно мала!»А он отвечает:«Да, но вероятность того, что на борту окажутся две бомбы, ещё на порядки меньше. Поэтому одну бомбу я всегда вожу с собой!»Эта шутка, при всей её абсурдности, для меня стала каким-то странным отражением того, как мы, Гейм Дизайнеры, часто обращаемся со случайностью. Читать далее