Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на грани возможного. Но недавно я наткнулся на материал на ast-softpro.ru, где ребята запустили Qwen 3.8-27B на двух RTX 5060 Ti по 16 ГБ (32 ГБ суммарно). Если коротко, они…
В одной из своих статей, посвященной тестированию возможности запуска локальной модели на домашнем ПК, с не самой сильной и новой видеокартой, я показал, что 176B-класс Qwen3.8-Flash-Next можно запустить на GTX 1080 Ti с 11 GB VRAM, если использовать llama.cpp, правильный offload и DeepSeek Harness. Скорость…
Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо. Читать далее
Размер (видеокарты) NV GTX 1080 Интерфейс PCI-E 3.0 Тип видеопамяти GDDR5X Объем видеопамяти 8192 Разъемов DVI (Dual-Link) 1 Поддержка HDCP Да Тип поставки Ret Разрядность шины видеопамяти 256 Разъемов Display Port 3 Графический процессор nVidia GeForce GTX 1080 Разъемов HDMI 2 Частота графического … Gigabyte GeForce GTX 1080 Xtreme Edition в наличии Цена: 46690.00 ₽ […]