Привет, сегодня я расскажу о том, как наша команда строила платформу обработки и хранения данных для обучения GenAI-моделей в Сбере, и как мы выросли до 70 ПБ сырых данных. Меня зовут Александр, я работаю в Сбере и два года занимался развитием этой платформы. Читать далее
Снова привет, на связи Алексей Приставко, и это вторая часть моего рассказа об объектном S3 хранилище DataLine на базе Cloudian HyperStore. Сегодня я подробно расскажу о том, как устроено наше S3 хранилище и с какими трудностями мы столкнулись в процессе его создания. Обязательно коснемся «железной» темы и разберем оборудование, на котором мы в итоге остановились. Поехали! Читать дальше →
Шёл 2022 год. Перед нам, как облачным провайдером, стояла задача создать под проект максимально быстрое хранилище объёмом от 150 ТБ. На тот момент рынок стремительно менялся: на смену традиционным SAS SSD стали приходить накопители форм‑фактора 2.5", поддерживающие интерфейс PCIe Gen4 x4 NVMe. И всё бы хорошо, да в привычную схему работы вмешались санкции. Читать далее
Хранилище — один из базовых и важнейших элементов видеохостинга. Пользовательские фичи накладываются поверх библиотеки контента, которую нужно надёжно хранить и обеспечивать быстрый и бесперебойный к ней доступ. В этой статье расскажем, как устроено файловое хранилище RUTUBE с точки зрения SRE, как мы пришли к именно такой конфигурации и как она работает на наших объемах — сейчас это порядка 400 Пбайт и 2 млрд объектов. Читать далее