Инфраструктура вывода больших языковых моделей традиционно оптимизируется по пропускной способности и задержке: KV-кэш, CUDA-графы, батчинг, квантизация, параллелизм. Эти компоненты формируют «скелет» системы и задают её предельные характеристики. Однако за пределами этого фокуса нередко остаётся слой, определяющий не скорость, а качество. Это параметры семплирования - правила выбора следующего токена из распределения логитов на каждом шаге декодирования. Читать далее
Данная статья является вводной по графике в Direct2D, после неё вы узнаете что такое ресурсы зависимые от устройства и не зависимые. Научитесь выводить на экран любую сложную(2D) геометрию. Узнать теоретическую часть по выводу графики, что такое ID2D1Factory и остальные вводные вещи. Читать далее
При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой…
Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно. И, вполне вероятно, столкнулись с одной из типичных проблем:«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».«Платим за A100, а реально используем лишь 30%