Всем привет. В этой статье я расскажу про слой линейного преобразования. Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм автоматического дифференцирования при создании и обучении нейросети, про который я
Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами.В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа.В этой статье мы разберём, как математики изгнали, а затем вернули бесконечно малые, что такое гиперреалы и монады, а затем реализуем эту идею в коде. Читать далее
Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я сделал разбор алгоритма автоматического дифференцирования для глубокого обучения. Идею для реализации я взял из книги «Грокаем глубокое обучение». Я разобрал как вычисляются производные для основных операций и показал, как сделать простую реализацию.Содержание: граф вычислений, операции и производные по ним, прямой и обратный проход по графу ручное вычисление, реализация прямого и обратного прохода по графу, пример использования. Читать далее
Привет, Хаброжители! Мы открыли предзаказ на книгу «Машинное обучение на табличных данных: XGBoost, глубокое обучение и ИИ» Марка Райана и Луки Массарона. Предлагаем ознакомиться с главой 3 «Машинное и глубокое обучение». Чтобы сравнить машинное и глубокое обучение с точки зрения…