В 2022 году я присоединился к команде Газпромбанка в должности дата-инженера. В мои обязанности входила поддержка витрин данных для машинного обучения. Главной проблемой, с которой мне пришлось столкнуться, оказалось непомерно долгое время обработки данных при использовании…
Привет! Меня зовут Дмитрий Мележиков, я отвечаю за BI в домене Маркетинг и участвую в общих DWH/BI-проектах Авито. В статье рассказываю, как мы построили систему HealthScore — метрику здоровья данных. От математической модели и пайплайна сбора метаданных до процесса массовой очистки. А ещё вы узнаете, почему HealthScore и сертификация витрин важны для AI Copilot. Без белого списка доверенных витрин ассистент может масштабировать ошибки так же быстро, как и инсайты. Читать далее
Всем жаждущим знаний предлагаем ознакомиться с новыми лекциями Технопарка, посвящённым базам данных. Курс ведёт Артём Навроцкий, ведущий программист в Allods Team. Список лекций: Введение Модификация и выборка данных Выборка данных (продолжение) Транзакции. Триггеры и хранимые процедуры Индексы и производительность Оптимизация запросов. Оптимизация структуры данных Репликация, полнотекстовый поиск, JSON Сохранность данных Читать дальше →
В этот прекрасный июньский день хочется немного выдохнуть: фичи доделаны, образы залиты, регресс пройден, в наушниках играет приятная музыка, а впереди целое лето и каникулы. С вами снова я — Павел Мирошин, тимлид команды разработки «Графини» (первый аналог Grafana, написанный с нуля). И сегодня хочу немного рассказать о том, что мы сделали в новом большом релизе 2026H1 «Ассамблея».Внутри про кеширование витрин, прогнозирование, импорт дашбордов из Grafana и другие обновления. Читать далее