Когда я пытался подключить AFFiNE к Ollama или к DeepSeek я сразу столкнулся с большой проблемой, AFFiNE попросту не умеет работать с моделями отличными от GPT, вопрос, почему? Да потому что ребята просто захардкодили названия моделей в коде Честности ради, ребята все еще в бете, так что причину отлично понимаюПокопавшись в коде, я понял, что там попросту ну никак нельзя конфигурировать что либо КРОМЕ url и API ключа от OpenAI, так как названия моделей буквально захардкожены Читать далее
В этой статье мы подробно разбираем Ollama — инструмент для локального запуска больших языковых моделей (LLM). Вы узнаете, как установить программу, выбрать подходящую модель, понять форматы и квантование, настроить систему под своё железо и работать как через CLI, так и через API. Практические советы, примеры конфигураций и рекомендации по VRAM помогут вам максимально эффективно использовать Ollama для диалогов, генерации текста, кода и других задач. Читать далее
Для Ollama доступно множество интеграций. Одна из популярных — Open WebUI. Это веб-интерфейс для управления Ollama, предлагающий широкие возможности и гибкие настройки. Недавно в Open WebUI появилась поддержка плагинов Pipelines, которая позволяет вызывать функции. Читать далее
Как поднять локальную LLM за 5 минут ????Хотите свой ChatGPT, который работает локально и не требует интернета? В статье показываю, как развернуть Ollama + OpenWebUI в Docker: • Ollama — инструмент для запуска локальных LLM (LLaMA, Mistral, Gemma и др.) • LLaMA — серия открытых языковых моделей от Meta • OpenWebUI —…