В нашей практике DevOps мы столкнулись с задачей оптимизации Kubernetes-кластера в AWS, включая перевод нагрузки на ARM64-инстансы с процессорами Graviton и эффективное использование spot-инстансов. Благодаря Amazon EKS и Karpenter нам удалось ускорить ввод новых узлов до всего 40 секунд и успевать…
Представьте, что у вас есть многослойный пайплайн обработки данных.Ширина слоя — 5000 узлов. Количество слоёв — 60. Общее число узлов — 300 000.Каждую секунду приходит 10 новых событий (изменений на входе). Наивный подход — пересчитать всё с нуля — будет перебирать все 300 000 узлов на каждое обновление. При 10 обновлениях в секунду это 3 млн вычислений узлов в секунду. А если ширина слоя 100 000 и слоёв 100? Получаем 10 млн узлов на пересчёт. Компьютер не справляется. Читать далее
Объём неиспользуемых ресурсов не уменьшается (хотя вроде как должен), а узлы бесконечно ротируются. Это нормально для автоскейлера или пора что-то чинить?В статье — детально о механизме консолидации в Karpenter, а главное — можно (и нужно) ли как-то его исправлять. Читать далее
Управление жизненным циклом узлов в Kubernetes легко превращается в марафон ручной настройки — от подготовки окружения в облачных сетапах до регулярного обновления скриптов и корректного удаления узлов. В Deckhouse Kubernetes Platform мы автоматизировали этот процесс, и неважно, работаете вы в