Дата-инженеры, работающие с PySpark, часто сталкиваются с задачей создать логику обработки данных. Обычно речь идет о тестировании набора классов и функций. Современные платформы данных на основе Spark подчас содержат сотни, а то и тысячи разных модульных тестов, которые помогают…
Приветствую, Хабр! В очередной раз возникло желание обсудить блокчейн‑технологии, хотя им и было посвящено уже немало публикаций на Хабре (да и, несомненно, их еще будет много в дальнейшем).Многие технологии делают нашу жизнь лучше и интереснее. Блокчейн,…
К сожалению, ситуация в современном ИТ мире (и не только) складывается таким образом, что людей, способных создавать что-то полезное становится меньше, а количество специалистов, желающих управлять ими становится всё больше. Этих сотрясателей воздуха распознать не составляет…
Всем привет! Меня зовут Артём Важенцев, я аспирант в Сколтехе и младший научный сотрудник AIRI. Я работаю в группе под руководством Александра Панченко и Артёма Шелманова. Мы занимаемся исследованием и разработкой новых методов оценивания неопределенности для языковых моделей.…
HomeProxy или luci‑app‑homeproxy это часть проекта ImmortalWRT, графическая надстройка для sing‑box позволяющая настроить подключение к shadowsocks, xray, vless, vmess, trojan. В данной статье будет рассматриваться установка luci‑app‑homeproxy на OpenWRT 23.05.0-rc3 (поддерживаются версии 23.05.0 или SNAPSHOT). Можно…
Привет, Хабр!Важная составляющая BI – это читаемый и понятный дашборд с визуальными элементами. Поэтому сегодня поговорим об общих принципах: этапах и логике построения, способах и инструментах для визуализации различных данных. Статья будет полезна тем, кто только планирует начать применять BI в своей компании. Сложной технической информации тут не будет. Читать далее
В данной серии статей я подробно расскажу о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.Краткое содержание предыдущей серии: Вступление…
Люди осторожно относятся ко всему новому, опасаются слишком уж современных технологий вроде роботизированных автомобилей. Тем не менее результаты опроса показывают, что около 67% респондентов скорее доверили бы своего ребёнка машине с автопилотом, чем незнакомцу за рулём. Конечно, к этим результатам можно относиться скептически, но, судя по всему, роботизированные автомобили действительно становятся надёжнее, и им можно доверить свою жизнь. Подробнее об этом — под катом. Читать далее
В мире живут миллионы ампутантов: в США их более 1,5 млн человек, в Европе — более 5 млн. Причины, по которым эти люди потеряли конечность, самые разные — от производственной травмы или аварии до врожденных пороков и диабета. Задача общества — не закрывать глаза на проблемы этих…
A password management vulnerability in Skyhigh Secure Web Gateway (SWG) in main releases 11.x prior to 11.2.14, 10.x prior to 10.2.25 and controlled release 12.x prior to 12.2.1, allows some authentication information stored in configuration files to be extracted through SWG REST API. This was possible due to SWG storing the password in plain text in some configuration files.