Несколько дней назад я опубликовал статью Создание инструмента генерации кода с помощью Rust и локальных LLM от Ollama Проект Rustns призван упростить жизнь разработчикам Rust за счет автоматизации утомительных задач. Мой инструмент генерирует фрагменты кода Rust из объяснений…
Это реакция на выпуск ChatGPT o-preview. Попытка добавить логику в LLM с открытым исходным кодом, которые можно запустить дома на скромном GPU или даже на CPUСейчас я работаю над инструментом на основе Rust, который автоматизирует генерацию, компиляцию и тестирование кода с использованием…
3 дня борьбы с ROCm, RX580 и Ollama: как я запустил LLM на домашней видеокартеЯ попытался запустить LLM inference на старой AMD RX580 через ROCm и Ollama в Kubernetes. GPU определялся, VRAM занималась, контейнеры запускались — но inference падал с ошибками hipMemGetInfo, а иногда просто выдавал бессмысленный текст.В статье
В этой статье мы подробно разбираем Ollama — инструмент для локального запуска больших языковых моделей (LLM). Вы узнаете, как установить программу, выбрать подходящую модель, понять форматы и квантование, настроить систему под своё железо и работать как через CLI, так и через API. Практические советы, примеры конфигураций и рекомендации по VRAM помогут вам максимально эффективно использовать Ollama для диалогов, генерации текста, кода и других задач. Читать далее