Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на грани возможного. Но недавно я наткнулся на материал на ast-softpro.ru, где ребята запустили Qwen 3.8-27B на двух RTX 5060 Ti по 16 ГБ (32 ГБ суммарно). Если коротко, они…
Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо. Читать далее
Размер (видеокарты) NV GTX 1080 Интерфейс PCI-E 3.0 Тип видеопамяти GDDR5X Объем видеопамяти 8192 Разъемов DVI (Dual-Link) 1 Поддержка HDCP Да Тип поставки Ret Разрядность шины видеопамяти 256 Разъемов Display Port 3 Графический процессор nVidia GeForce GTX 1080 Разъемов HDMI 2 Частота графического … Gigabyte GeForce GTX 1080 Xtreme Edition в наличии Цена: 46690.00 ₽ […]
Я давно слежу за развитием локальных LLM, но всегда упирался в одно и то же — либо модель маленькая и качество не устраивает, либо большая и не влезает в видеопамять. Всё изменилось когда я наткнулся на статью про MoE-модели и параметр -cmoe в llama.cpp.Расскажу как я запустил Qwen3.6 35B-A3B на RTX 4070 12GB с 32GB RAM, настроил его как AI-ассистент для реального проекта в opencode, и почему теперь эта модель у меня работает постоянно. Читать далее