Как мы в HOSTKEY создали собственный LLM-бенчмарк для GPU-серверов с видеокартами NVIDIA в Ollama. Подробно о методике тестирования, коде на bash, результатах и закономерностях производительности. Читать далее
Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры. Собственно, сама Ollama работает поверх llama.cpp, llama.cpp поддерживает GPU через CUDA, Metal, Vulkan и ROCm. А вот AMD GPU Ollama запускает - через ROCm и Vulkan. Но AMD NPU на базе архитектуры XDNA туда, к сожалению, не входит. Ryzen AI 300, Ryzen 8040, Ryzen 7040 -
3 дня борьбы с ROCm, RX580 и Ollama: как я запустил LLM на домашней видеокартеЯ попытался запустить LLM inference на старой AMD RX580 через ROCm и Ollama в Kubernetes. GPU определялся, VRAM занималась, контейнеры запускались — но inference падал с ошибками hipMemGetInfo, а иногда просто выдавал бессмысленный текст.В статье
Доброго времени суток, товарищи Хабровчане. Сегодня будет небольшая статья про установку «турбинных» карт NVIDIA GeForce GTX 1070 Founders Edition в бокс Nvidia Tesla S2050 Server позволяющий установить 4 GPU-карты и подключить их к серверу через интерфейсные карты Nvidia P797 HIC по шине PCI-E 16x 2.0 полной ширины. Бокс был предварительно доработан, чтобы мог работать не только с GPU-картами Nvidia Tesla M2050. Продолжение истории под катом