У корпоративных хранилищ есть одна особенность: чем дольше они живут, тем больше задач на них пытаются навесить.Сначала туда попадают предсказуемые вещи: CRM, ERP и внутренняя отчетность. Но потом добавляются документы, записи разговоров, данные для ML, генеративный ИИ и еще десяток сценариев, о которых никто не думал, когда проектировал DWH десять лет назад.Что тогда делать? Сейчас расскажу. Читать далее
Data Mesh, Data Fabric, Lakehouse: разбираем модные терминыData Mesh, Fabric, Lakehouse – все говорят, но никто толком не объясняет, чем они отличаются и можно ли их использовать вместе. Разобралась и делюсь структурированно и без воды.➕ Сравнительная таблица и чек-лист: что выбрать под свою боль.✔️Сохраняйте, чтобы больше никогда не путаться. Читать далее
Что такое балансировка нагрузки? Балансировка нагрузки подразумевает эффективное распределение входящего сетевого трафика между группой бэкенд-серверов. Задача же регулятора — распределить нагрузку между несколькими установленными бэкенд-серверами. Существует несколько типов балансировщиков нагрузки: Балансировщик нагрузки приложений. Сетевой балансировщик нагрузки. Балансировщик нагрузки шлюза. Классический балансировщик нагрузки. Читать дальше →
Привет, Хабр! Я Алексей Новаков, ведущий инженер данных в Рунити. Сегодня разберемся, зачем Lakehouse понадобился streaming, почему одного Iceberg для этого не всегда хватает и как Iceberg и Paimon могут жить рядом в одном конвейере.Если сильно упростить, классический Lakehouse решает понятную задачу:…