Модель показывает хороший ROC AUC, но её predict_proba может серьёзно искажать реальную вероятность события. Например, логистическая регрессия с class_weight="balanced" предсказала отток 35% клиентов при фактических 11% — и такой прогноз легко превращается в завышенный бюджет на удержание. Разбираемся на примерах из scikit-learn, почему модели ошибаются в оценке вероятностей, как проверить их калибровку и когда её стоит исправлять. Разобраться в калибровке
В ML легко перепутать аккуратное число с честной вероятностью: модель выдаёт predict_proba = 0.9, и кажется, что событие произойдёт в 90% случаев. Но это не всегда так. В статье разбираем, почему выход модели может быть просто внутренней оценкой уверенности, чем…
Знаете, есть такой старый анекдот про математика, который отказывается лететь на самолёте, потому что посчитал вероятность теракта. Друзья его уговаривают:«Ну что ты, вероятность же ничтожно мала!»А он отвечает:«Да, но вероятность того, что на борту окажутся две бомбы, ещё на порядки меньше. Поэтому одну бомбу я всегда вожу с собой!»Эта шутка, при всей её абсурдности, для меня стала каким-то странным отражением того, как мы, Гейм Дизайнеры, часто обращаемся со случайностью. Читать далее
Теорема (формула) Байеса позволяет выяснить вероятность события при условии, что произошло связанное с ним другое событие.Теорема позволяет рассчитать вероятность события, если причину и следствие поменять местами. Например, мы знаем распространенность симптома среди больных и здоровых. Значит, мы можем вычислить вероятность заболевания от наличия симптома. Читать далее