Локальный ИИ в 2026-м начинает становиться нормой для многих компаний. Причины понятные: данные не утекают в чужое облако, не нужны ни VPN, ни подписка на каждого сотрудника, всё крутится на своём железе и под контролем. Вот только перед тем как «поставить Ollama и запустить модель»,…
Главный страх любого инженера ошибка CUDA Out of Memory. Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Python на уровень написания кастомных ядер, наступает великая ирония. Наша главная цель как оптимизаторов любой ценой избежать обращения к этой самой VRAM. В этой статье мы поговорим о физике видеокарт, "Стене Памяти" и о том, почему настоящие нейросети живут в регистрах, а VRAM это просто холодный склад. Читать далее
Финал цикла про облачную LLM на 16 ГБ VRAM. За две предыдущие статьи мы подняли собственную локальную модель на облачном сервере с GPU на 16 ГБ VRAM, разобрались с vLLM и tool calling, собрали агентный бэкенд на LangGraph с MCP-серверами, получили вокруг него полноценный REST API из коробки и обернули все…
Локальный инференс LLM требует не только мощного GPU, но и огромной ширины шины памяти. Объединенная память Apple Silicon частично решает проблему нехватки VRAM за разумные деньги, превращая Mac miniTM в портативный сервер для AI-агентов вроде OpenClaw. В этом материале протестируем Mac miniTM M4 Pro на языковых моделях среднего размера, разберем настройку окружения и выясним, где проходят реальные границы возможностей этой конфигурации. Читать далее