Вы запустили LLM-инференс в продакшене. Поток запросов не менялся, нагрузка та же, что вчера, — а Time to First Token внезапно вырос в три раза. Первая мысль: что-то с моделью. На деле причина почти никогда не в модели — она прячется в планировщике, аллокаторе GPU-памяти, очереди…
Всем привет!Меня зовут Прокошкин Леонид, я Frontend-разработчик в компании DDPlanet.Хочу рассказать о том, как мы решали проблему с высокой нагрузкой на сервер и большими расходами трафика при использовании тяжелых Lottie-анимаций.В проекте было около 30 Lottie-анимаций, некоторые весили ~100 KB, и нам нужно было оптимизировать их загрузку.Как снизить трафик и нагрузку? Правильно - кеширование. Мы выбрали кеширование на стороне Service Worker. Читать далее
Думаю многие сталкивались со словом оптимизация в контексте работы с сайтами. Эта оптимизация может быть на многих уровнях, но всегда говорят об оптимизации сайтов и веб приложений затрагивают три основных аспекта:Скорость ответа сервераВес ответа сервераЗатрачиваемые ресурсы на ответИ если вес исправляется как правило эффективным сжатием, выбрасыванием не нужного, то в этой статье мы рассмотрим как можно оптимизировать скорость ответа и затрачиваемые ресурсы. Читать далее
Если вы в 2026 году запускаете LLM в продакшене, то почти наверняка больше всего денег тратите на инференс. Одна неоптимизированная модель размером 70B может сжигать десятки долларов в час на нескольких A100, тогда как грамотно оптимизированный стек дает сопоставимый результат за…