Исходная задача и контекстПеред нами стояла типичная для дата‑инженеров задача: обработать поток Parquet‑файлов с данными о внутренних технических процессах заказчика. Ключевой запрос — извлечь метаданные из таблицы, чтобы в дальнейшем работать с ними быстрее и удобнее.В качестве основного инструмента мы выбрали Apache Iceberg — проверенный в наших проектах фреймворк для управления метаданными. Изначально пайплайн выглядел так: Читать далее
Про Iceberg сейчас много чего понаписано. Либо обзор «формат будущего, открытость, лейкхаус», после которого непонятно, где нажать, либо разбор одного механизма — снимки отдельно, каталог отдельно, права отдельно. Iceberg плохо объясняется словами, поэтому я собрал стенд, где все части
Ножи к ледобуру ICEBERG 130R имеют радиусную форму и подходят к ледобурам ICEBERG v2.0 и ICEBERG v3.0 с правым вращением и диаметром бурения 130 мм.Благодаря специальному углу заточки ножа, обеспечивается лёгкое бурение сырого льда. Отсутствие резких углов в радиусной форме ножа обеспечивает плавное сверление при минимальном усилии.Технологии производства ножейПроизводятся при помощи высокотехнологичного итальянского шлифовального оборудования […]
Iceberg становится де-факто отраслевым стандартом при построении lakehouse в России. Для сравнения, на последней конференции smart-data, Iceberg по частоте упоминания уступает только Spark. Это значит, что уверенное владение механикой работы Iceberg становится обязательным навыком для инженеров…