До обновления API LLMCOD работал на Qwen 3.6. Модель справлялась, но по мере роста числа клиентов и усложнения промптов (длинные базы знаний, многошаговые диалоги, агенты) стало понятно: нужен более свежий бэкенд с лучшим качеством推理 и более эффективным использованием GPU.Цель — получить максимум от имеющегося железа (Tesla V100-SXM2-32GB), не покупая новый GPU. Читать далее
Еще несколько лет назад NVIDIA Tesla V100 ассоциировалась прежде всего с дата‑центрами и суперкомпьютерами. Сегодня эти списанные ускорители V100 SXM2 на 16 ГБ массово попадают на вторичный рынок, и для энтузиаста локального ИИ они выглядят неожиданно интересно. Особенно это касается версии V100 SXM2 на 32 ГБ. Читать далее
Привет всем.Расскажу про свой личный опыт разработки через Qwen 3.6 Plus и Qwen ClI. И да, статья полностью написана человеком.Это небольшой pet-проект, сделанный в момент, когда Qwen 3.6 Plus был бесплатным с лимитом в 1000 запросов в день. Проект представляет из себя фронтенд вымышленного интернет-магазина по продаже микрокомпьютеров.Цель была протестировать возможности Qwen. На весь проект у меня ушло 4 дня по 2-3 часа. Читать далее
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, что ускоряет генерацию в 1.5-2 раза. Качество при этом остается lossless. Для моделей, которые не имеют встроенного MTP, есть альтернативы в лице EAGLE-3 и DFlash. Читать далее