В используемой нами базе данных уже была эффективная функциональность сжатия, которая обеспечивала хранение объемной информации.Но рост объема хранимых данных — не единственный возможный выигрыш от применения сжатия, поэтому мы задумались о разработке собственного решения.В этой статье расскажу, как мы изменили подход к сжатию данных, чем пришлось пожертвовать и почему менее эффективное «на бумаге» решение в результате превзошло наши ожидания. Читать далее
Предлагаю ознакомиться с расшифровкой лекции "Hadoop. ZooKeeper" из серии "Методы распределенной обработки больших объемов данных в Hadoop" Что такое ZooKeeper, его место в экосистеме Hadoop. Неправда о распределённых вычислениях. Схема стандартной распределённой системы. Сложность…
Проблема — в часы пик не справляется сетевой интерфейс с передаваемым объёмом данных. Из доступных вариантов решения был выбран сжатие хранимых данных tl;dr: экономия памяти >100% и сети >50%. Речь пойдёт о плагине для predis, который автоматически сжимает данные перед отправкой в redis. Читать дальше →
По сравнению со странами Европы, где на объекты распределенной генерации приходится сегодня почти 30% всей выработки, в России по различным оценкам доля распределенной энергетики составляет сегодня не более 5-10%. Поговорим о том, есть ли шансы у российской распределенной энергетики догнать мировые тренды, а у потребителей — мотивация двигаться в сторону независимого энергоснабжения. Источник Читать дальше →