Итак мы обсудили задачу классификации и метрики качества классификационных моделей.Имея такой набор знаний, мы наконец готовы перейти к моделям, которые, в отличие от kNN, действительно обучаются на данных, а не просто запоминают обучающую выборку. И первый кандидат у нас логистическая регрессия Читать далее
В шестой части мы разобрали логистическую регрессию и увидели, как линейная модель может разделять классы с помощью вероятностного подхода. В этой части поговорим о SVM — алгоритме, который ищет не просто разделяющую гиперплоскость, а оптимальную границу с максимальным зазором между классами. Если логистическая регрессия отвечала на вопрос "с какой вероятностью объект принадлежит классу?", то философия SVM звучит иначе "где провести наиболее устойчивую границу между классами?". Читать далее
Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета. Читать далее
В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов.Статья подойдет для того, кто новичок или кому интересно разобраться в том, как происходит обучение модели на низком уровне. Читать далее