На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform). Читать далее
Что должно быть на сайте, какие документы нужно разработать и разместить, перечень обязательных требований Роскомнадзора при проверке. Актуальный чек-лист, который поможет избежать штрафов до 18 млн рублей. Пользуйтесь, спасибо скажете потом) Читать далее
Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как…
Если вам просто нужен ответ на вопрос в заголовке, то просто нажмите на TLDR и можете закрыть страницу. Но если вам любопытны подробности, то пристегнитесь, мы займёмся отладкой; этот пост в основном посвящён моему мыслительному процессу и методикам, которые я использовал, чтобы прийти к ответу. Читать далее
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии…
Хабр, привет! На связи Владимир, DevOps-инженер компании Совкомбанк Технологии. В этой статье расскажу о компонентах GitLab, способах их применения и том, как они помогли нам с настройкой CI/CD на проектах. Читать далее
Команда Spring АйО перевела статью, которая рассказывает о том, как луковичная и гексагональная архитектура часто используется программистами в неоправданно сложном варианте, взятом из учебника, и как эти архитектурные стили можно упростить, получив от этого существенные преимущества в плане затрат на разработку и поддержку. Читать далее
Концепция этого цикла начиналась с простого переноса тайловых миров на F#. Однако в процессе его описания я основательно растёкся по древу, за счёт чего у нас образовался большой подготовительный этап из пяти глав про языковые фичи и прочую «фундаменталочку». Думаю, что с…
Вероятность блокировки Telegram и WhatsApp только становится только выше. 10 июня Госдума приняла закон о создании российского национального мессенджера. Мы собрали топ корпоративных мессенджеров, которые могут стать достойной заменой WhatsApp и Telegram. Читать далее
Сегодня уже только ленивый не говорит про ИИ. ИИ тут, ИИ там, ИИ нас всех заменит, и так далее. Мне стало интересно, а как именно нас всех с вами заменит ИИ? Я решил покопать этот вопрос, изучить, так сказать, матчасть и разобраться, в первую очередь для себя - как именно ИИ собирается нас всех заменить. Спойлер - он пока что никуда не собирается, но то что есть уже сегодня впечатляет. Читать далее