Разбор применения метода DREM (Dynamic Regressor Extension and Mixing) для обучения линейного перцептрона. Рассматривается алгоритм декомпозиции многопараметрической задачи на набор независимых скалярных регрессий. В ходе экспериментальной апробации на синтетических и реальных данных оценено влияние различных параметров на величину MSE и время выполнения, а также проведен сравнительный анализ со стандартными оптимизаторами (SGD, ADAM). Читать далее
Здравствуй, Хабр! Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена строго и исчерпывающе, ещё одна научно-популярная статья не помешает. ! Осторожно, трафик! В статье присутствует заметное число изображений для иллюстраций, часть в формате gif. Читать дальше →
Не секрет, что курс рубля напрямую зависит от стоимости нефти (и от кое-чего еще). Этот факт позволяет строить довольно интересные модели. В своей статье о линейной регрессии я коснулся некоторых вопросов, посвященных диагностике модели, а за кадром остался такой вопрос: есть ли более эффективная, но не слишком сложная альтернатива линейной регрессии? Традиционно используемый метод наименьших квадратов прост и понятен, но есть и другие подходы (не такие понятные). Читать дальше →
Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL…