Наивная формула «веса + KV < VRAM» промахивается по двум причинам, и обе стоят денег. Первая: движок (vLLM, SGLang, TensorRT-LLM) резервирует почти всю память под свой пул ещё до того, как вы посчитали KV — поэтому ответ «сколько запросов влезет» всегда мимо, в сторону «влезет», а потом OOM под…
Финал цикла про облачную LLM на 16 ГБ VRAM. За две предыдущие статьи мы подняли собственную локальную модель на облачном сервере с GPU на 16 ГБ VRAM, разобрались с vLLM и tool calling, собрали агентный бэкенд на LangGraph с MCP-серверами, получили вокруг него полноценный REST API из коробки и обернули все…
Главный страх любого инженера ошибка CUDA Out of Memory. Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Python на уровень написания кастомных ядер, наступает великая ирония. Наша главная цель как оптимизаторов любой ценой избежать обращения к этой самой VRAM. В этой статье мы поговорим о физике видеокарт, "Стене Памяти" и о том, почему настоящие нейросети живут в регистрах, а VRAM это просто холодный склад. Читать далее
Создание любого ПО сопровождается ошибками. Программисты ошибаются в выборе типов, ошибаются в реализации алгоритмов. Аналитики ошибаются в формулировке требований к ПО, и из этих ошибок рождаются ошибки в функционировании готового продукта. Любой (ну ладно, почти любой)…