В статье обсуждается процесс интеграции Apache Spark с Apache Atlas для визуализации выполнения ETL-процессов на основе построения связей между операциями в Spark. Автор описывает создание пользовательских сущностей в Apache Atlas, таких как Process и DataSet, которые необходимы для отражения…
Поздравляем коллег по IT-сфере с Днем программиста!Предлагаем сыграть в бинго разработчика. Кто собирает полный ряд ячеек в строчку, в столбик или по горизонтали, кричит в комменты «Бинго!». Собрать бинго
Привет, Хабр! Возраст этого артефакта из СССР составляет примерно четыре десятилетия, и его можно смело назвать если не музейной, то по крайней мере коллекционной ценностью. Но что такой арт-объект может дать нам сегодня в качестве именно музыкального инструмента? Перед нами…
Привет, Хабр! Меня зовут Вадим Селютин, я старший исследователь в компании VisionLabs. Наши решения по распознаванию лиц можно встретить в офисных центрах, московском метро и кассах самообслуживания супермаркетов. Во всех этих кейсах мы используем нейросети, которые адаптируем…
Алгоритмы, использующие принципы квантовой физики для решения задач на квантовых компьютерах более эффективно, чем на классических. В офисе это можно сравнить с использованием новых, нестандартных способов решения проблем, которые на первый взгляд выглядят необычно, но…
Привет, Хабр! На связи Business Intelligence GlowByte. В данной статье разберем основы интеграции FineBI c внешними системами. С помощью публичных методов API можно использовать интерфейс, управлять системой удаленно и автоматизировать бизнес-процессы. Существует несколько способов…
Пару дней назад был опубликован пост с решением на MySQL загадки Джиндоша (она же загадка Эйнштейна).Предложенное решение показалось мне "неспортивным" - помимо необходимости жестко учитывать в структуре запроса количество исходных элементов ("джойнить" нужные таблицы нужное количество раз), так еще и условия в запросе приходилось многократно дублировать.Поэтому я попробовал решить эту задачу "в общем виде", используя возможности PostgreSQL, и вот что из этого получилось. Читать далее
У многих в телефоне есть фото паспорта, водительского удостоверения, свидетельства о рождении ребёнка. Но не все догадываются, как легко можно получить к ним доступ. Одно разрешение, выданное приложению, может привести к раскрытию данных. Мы изучили 50 самых популярных приложениях Android и оказалось, что большинство из них хочет получить неоправданно много разрешений. Давайте разбираться. Читать далее
Мультипродуктовая дизайн-система должна обеспечивать консистентность всех продуктов компании, а также ускорять и удешевлять их разработку. Однако в реальной жизни мы видим другое: мультипродуктовые дизайн-системы лишь отчасти выполняют свои функции и, помимо плюсов, имеют…
В современных видеоиграх взаимодействие с другими игроками стало неотъемлемой частью игрового процесса. Различные механики взаимодействия способствуют созданию команды, координации действий и общению между игроками. В этой статье мы рассмотрим примеры механик взаимодействия с другими игроками, а также обсудим, почему такое взаимодействие важно. Читать далее