Справочник по основным командам и параметрам llama.cpp. Затрагиваются основные утилиты для инференса: llama-cli, llama-completion, llama-server. Здесь будут представлены все команды и параметры которые можно получить, например, вызовом: “llama-cli --help” или “llama-server --help”, в том же порядке. Я просто взял и…
Справка по Common Params (Общие параметры) llama.cpp.Параметры этой категории в основном полностью пересекаются между всеми утилитами: llama-cli, llama-completion, llama-server. Там где есть отличия, будут соответствующие комментарии.Для каждого параметра сначала указывается его название, шаблон и краткое описание из штатной справки llama.cpp. Затем следует более развернутый комментарий. Читать далее →
С приходом нейросетей теперь можно решать задачи гораздо проще, правда и задачи бы такой не стояло не будь нейросетей и llama.cpp, и huggingface. В общем смысл статьи в том чтобы попытаться математически вычислить теоретическую скорость генерации токенов в программе llama.cpp для моделей на…
Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.В этой статье запустим Gemma 4 и через Ollama, и напрямую через llama.cpp — и посмотрим, во сколько обходится удобство. Читать далее