Разбираю кейс построения отказоустойчивого пайплайна для аналитики спортивных данных на базе нестабильного API dingerodds com. В статье — реализация обёртки с ретраями и балансировкой, деплой в Kubernetes с автоскейлингом, CI/CD через GitLab и хранение данных в Parquet (MinIO). Показываю, как превратить ненадёжный источник в стабильную платформу для ML и аналитики. Читать далее
Анонимный ИТ-сотрудник стал героем Реддита после того, как автоматизировал всю свою работу и теперь проводит дни, играя в видеоигры. Его пост с названием «Я автоматизировал свою работу больше года назад и никому об этом не сказал» на сабреддите r/antiwork набрал 80 000 апвоутов и больше 5 000 комментариев за один день. Читать дальше →
Всем привет! В этой статье поделюсь нашим опытом использования Apache Kafka на слое Stage в аналитической архитектуре. Мы поговорим о том, что такое слой Stage и зачем он нужен, почему именно Kafka стала нашим выбором, как устроен процесс ingest (приёма данных) на базе Kafka, что можно и чего делать…
В этой статье я хочу поделиться кейсом по автоматизации бизнес-процесса планирования оптовых продаж для нашего заказчика из цементной отрасли. Я расскажу о специфике предметной области, разработанном нами решении и результатах его внедрения. Статья будет полезна бизнес-аналитикам для подготовки к сбору требований по автоматизации аналогичных процессов. Читать далее