MongoDB объявила о выпуске 10.0 версии коннектора MongoDB для Apache Spark. В этой версии используется новый API Spark Data Sources второй версии (V2) с поддержкой структурированной потоковой передачи данных Spark (Spark Structured Streaming). Зачем нужна новая версия? Текущая версия MongoDB Spark Connector была первоначально…
Машинное обучение может показаться сложной областью, но его основные принципы просты. Эта статья познакомит вас с основами машинного обучения, ясно и доступно объяснив его концепции.Мы погрузимся в машинное обучение с помощью:Разбора основной парадигмы обучения -- обучение с…
Привет, Хаброжители! Мы открыли предзаказ на книгу «Машинное обучение на табличных данных: XGBoost, глубокое обучение и ИИ» Марка Райана и Луки Массарона. Предлагаем ознакомиться с главой 3 «Машинное и глубокое обучение». Чтобы сравнить машинное и глубокое обучение с точки зрения…
В этой статье я попытаюсь продемонстрировать, как дебажить задачу Spark, используя только Spark UI. Я запущу несколько задач Spark и покажу, как Spark UI отражает выполнение задачи. Также я поделюсь с вами несколькими советами и хитростями. Читать далее