Исходная задача и контекстПеред нами стояла типичная для дата‑инженеров задача: обработать поток Parquet‑файлов с данными о внутренних технических процессах заказчика. Ключевой запрос — извлечь метаданные из таблицы, чтобы в дальнейшем работать с ними быстрее и удобнее.В качестве основного инструмента мы выбрали Apache Iceberg — проверенный в наших проектах фреймворк для управления метаданными. Изначально пайплайн выглядел так: Читать далее
Ножи к ледобуру ICEBERG 130R имеют радиусную форму и подходят к ледобурам ICEBERG v2.0 и ICEBERG v3.0 с правым вращением и диаметром бурения 130 мм.Благодаря специальному углу заточки ножа, обеспечивается лёгкое бурение сырого льда. Отсутствие резких углов в радиусной форме ножа обеспечивает плавное сверление при минимальном усилии.Технологии производства ножейПроизводятся при помощи высокотехнологичного итальянского шлифовального оборудования […]
Iceberg становится де-факто отраслевым стандартом при построении lakehouse в России. Для сравнения, на последней конференции smart-data, Iceberg по частоте упоминания уступает только Spark. Это значит, что уверенное владение механикой работы Iceberg становится обязательным навыком для инженеров…
Apache Iceberg — табличный формат для озёр данных с поддержкой ACID, Schema Evolution, Hidden Partition и версионирования, но при больших метаданных и работе через S3 страдает планирование запросов и латентность. В связке со StarRocks мы показываем, как распределённый Job Plan, Manifest Cache, CBO с гистограммами, Data Cache…