Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp

Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp

Недавно вышла новая модель - Hunyuan-A13B:https://huggingface.co/tencent/Hunyuan-A13B-Instruct-GPTQ-Int4 (это уже квант) Читать далее

10 июля 2025, четверг 10:29 Оставить комментарий Источник

Похожие материалы

Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang

В этой статье будет приведено практическое руководство по базовой настройке и запуску следующих инструментов для работы с LLM: Ollama, LM Studio, vLLM, Triton, llama.cpp, SGLang. ???? Начинаем? ????

20 сентября 2025, суббота 19:31 Источник
vLLM Production Stack. Часть 1: Базовые возможности vLLM

Статья будет о том, как быстро начать работать с vLLM и vLLM Production Stack: от первого запуска модели до базовых режимов инференса через OpenAI-совместимый API. Разберем практические настройки и сценарии запуска — tool calling, thinking/non-thinking, мультимодальные и CPU-модели, а так же какие стартовые…

27 марта 2026, пятница 16:09 Источник
Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf

С приходом нейросетей теперь можно решать задачи гораздо проще, правда и задачи бы такой не стояло не будь нейросетей и llama.cpp, и huggingface. В общем смысл статьи в том чтобы попытаться математически вычислить теоретическую скорость генерации токенов в программе llama.cpp для моделей на…

30 августа 2026, воскресенье 9:25 Источник

Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp

Комментарии

Похожие материалы

Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang

vLLM Production Stack. Часть 1: Базовые возможности vLLM

Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf