Уже завтра мы отправим наш сервер в стратосферу. Во время полета стратостат будет раздавать интернет, снимать и передавать видео и данные телеметрии на землю. Мы несколько раз писали, что расскажем про техническую сторону нашего проекта «Космический ЦОД» (раньше отзывался на имя «Сервер в облаках 2.0»). Обещали — выполняем! Под катом горсть железок и кода. Читать дальше →
ORC in Hive/Spark - “анатомия” файла, индексация и фильтр БлумаORC — это колоночный формат, то есть данные хранятся не по строкам (как в CSV), а по столбцам. Именно это даёт ему способность эффективно сжимать и читать только нужные колонки. Есть ещё встроенная индексация и фильтр Блума, которые позволяют не перелопачивать лишние данные.Давайте заглянем под капот и посмотрим, как устроен ORC-файл, зачем там индексы и как фильтр Блума ускоряет поиск.I. Анатомия файла Читать далее
Качество системы электроснабжения – важнейший показатель уровня сервиса современного дата-центра. Это понятно: абсолютно все оборудование, необходимое для работы ЦОДа, питается электричеством. Не будет его – серверы, сеть, инженерные системы и СХД прекратят функционировать до полного восстановления электроснабжения. Рассказываем, какую роль в бесперебойной работе ЦОДа Linxdatacenter в Петербурге играют дизельное топливо и наша система контроля его качества. Читать дальше →
Работа сисадмина основана на вере, что инженеры ЦОДа знают свое дело. Мы создаем отказоустойчивые кластеры, но чего будет стоить эта отказоустойчивость, если отключится электричество? Какая разница, как быстро сервер обрабатывает запрос, если упал канал от ЦОДа до точки обмена…