Я давно слежу за развитием локальных LLM, но всегда упирался в одно и то же — либо модель маленькая и качество не устраивает, либо большая и не влезает в видеопамять. Всё изменилось когда я наткнулся на статью про MoE-модели и параметр -cmoe в llama.cpp.Расскажу как я запустил Qwen3.6 35B-A3B на RTX 4070 12GB с 32GB RAM, настроил его как AI-ассистент для реального проекта в opencode, и почему теперь эта модель у меня работает постоянно. Читать далее
Моя RTX 3060 на PCIe Gen2 x4 не мешает генерации Qwen3.6–35B‑A3B со скоростью 109 ток/с. Разбираю, почему это работает. Читать далее
Подходит к модели портативного беспроводного пылесоса Polaris PVCS 4070 Wi-Fi IQ Home. POLARIS Фильтр PVCSF 4070 к портативному пылесосу Polaris PVCS 4070 Wi-Fi IQ Home в наличиивозможна доставка. Цена: 599.00 ₽ КУПИТЬ
RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-A3B на той же карте выбирает 41%.Маршрутизация экспертов тут почти ни при чём, я её измерил: ядра top-k занимают 7% времени. CUDA-графы захватываются, дыр между…