У нас не было фермы. У нас была бесплатная виртуальная машина на Kaggle с одной старушкой NVIDIA T4 на 16 ГБ VRAM. И у нас была концепция экстремального MLOps под кодовым названием «Russian Winter 26».В этой статье я расскажу, как мы вскрыли архитектуру самого тяжелого китайского гиганта, переписали математику матриц внимания, обошли хардкодные ограничения GQA и заставили ядро модели сделать первый вдох на бесплатном железе. Читать далее
Главный страх любого инженера ошибка CUDA Out of Memory. Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Python на уровень написания кастомных ядер, наступает великая ирония. Наша главная цель как оптимизаторов любой ценой избежать обращения к этой самой VRAM. В этой статье мы поговорим о физике видеокарт, "Стене Памяти" и о том, почему настоящие нейросети живут в регистрах, а VRAM это просто холодный склад. Читать далее
Разработчик-одиночка под ником JustVugg представил Colibri — движок, который запускает открытую модель GLM-5.2 с 744 миллиардами параметров на обычном компьютере с 25 ГБ оперативной памяти. Для сравнения, даже 2-битный квант моделей этого семейства требует порядка 220 ГБ памяти. На…
Финал цикла про облачную LLM на 16 ГБ VRAM. За две предыдущие статьи мы подняли собственную локальную модель на облачном сервере с GPU на 16 ГБ VRAM, разобрались с vLLM и tool calling, собрали агентный бэкенд на LangGraph с MCP-серверами, получили вокруг него полноценный REST API из коробки и обернули все…