Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в исходный код на GitHub. Spark написан на языке Scala, и вся логика работы оператора доступна в открытом репозитории проекта. Вот здесь :)Первое, что рассмотрим - это конструктор кейс-класса1. Конструктор SortMergeJoinExec Читать далее
Представленная статья посвящена некоторым особенностям и нюансам разработки доп. расширений для публикации в 1С:Фреш. Надеюсь, кому-то из читателей информация в статье будет полезна и сэкономит время на прохождение аудита при публикации своего решения во Фреше. Читать далее
В своём предыдущем посте о потоках я привёл импровизированное сравнение1: Потоки2 — это просто состояния сохранения3 эмулятора4, связанные с условием, при котором продолжается их выполнение. В тот момент я подумал, что это неплохая аналогия, но не мог перестать размышлять о ней. Я какое-то время крутил её в голове. Мне кажется, что у этой аналогии есть серьёзный потенциал в качестве инструмента обучения. Поэтому я добавил многопоточность в Super Mario Bros. для NES. Читать дальше →
Всем привет! Подводим итоги мая по линии самых интересных CVE. Последний весенний месяц выдался жарким: десяточку по CVSS выбили контроллеры Cisco с захардкоженным веб-токеном и Azure DevOps Server на повышение привилегий до System.Критическими уязвимостями также отметились MagicINFO 9 Server от Samsung,…
Недавно я завершила обучение на курсе от Google по программе Управление проектами Поэтому я решила подготовить цикл из шести статей, в которых постараюсь передать ключевые идеи курса для русскоязычной аудитории.Курс состоит из шести разделов, и каждая статья будет охватывать один раздел. Вот их список: Читать далее
Современная разработка программного обеспечения все больше опирается на распределенные системы и микросервисы, что требует надежных методов обеспечения качества для проверки интеграции API и поведения сети. Такие инструменты, как Mockoon (платформа имитации API с открытым исходным кодом) и Charles Proxy (HTTP-прокси), решают эти задачи, но обслуживают различные фазы жизненного цикла обеспечения качества.Пришло время разобраться: что лучше — Mockoon или Charles Proxy? Читать далее
Привет, Хабр! Меня зовут Алексей Верховский, я ведущий инженер в техническом блоке МТС. В середине 2019 года я вместе с коллегами начал планировать техническое решение и готовить оборудование для строительства базовой станции (БС) на южном континенте. Это совместный проект МТС с…
Привет, Хабр! Меня зовут Анастасия Соколенко и с теми, кто читал мои предыдущие статьи, мы уже знакомы. Я отвечаю за безопасную разработку в Битрикс, а здесь рассказываю о том, как разработчикам делать сайты максимально безопасными. В своих предыдущих статьях (здесь и здесь) я…
Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы регулярно запускаем PySpark-приложения в Kubernetes-кластере, используя Airflow. Этот процесс важен для нашей ежедневной работы с данными, но в какой-то момент мы столкнулись с тем, что стандартный подход через SparkKubernetesOperator стал сдерживать развитие: не хватало гибкости, возникали сложности в сопровождении и процесс настройки был излишне сложным для разработчиков. Читать далее
Почитал транскрипт подкаста HBR IdeaCast с автором книги Employment Is Dead: How Disruptive Technologies Are Revolutionizing the Way We Work. Как можно догадаться из названия книги, подкаст была о том, как технологии (ИИ, Web3, DAO) трансформируют рынок труда и какое место в этом новом мире займёт классическая занятость.Нужно…