Meta анонсировала LLaMA (Large Language Model Meta AI), свою модель NLP с триллионами параметров и обученную на 20 языках.Недавно её слили на торренты и товарищи смогли запустить сетку локально на обычном домашнем компьютере, на обычном CPU.Для этого пришлось ужать модель из 32 битной в 4 битную, уменьшив вес модели с 13 до 4 ГБ.Попробуем запустить самую маленькую модель LLaMA 7B у себя на домашнем компьютере на середнячке AMD Ryzen 5. Читать далее
Приходя домой, вы включаете Wi-Fi на своём смартфоне. Ложась спать, вы приглушаете звук, чтобы неожиданный звонок ночью не побеспокоил домашних. А на улице вы напротив включаете полную громкость, чтобы услышать телефон даже через шум машин. При подключении наушников вам каждый раз
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 битных зависимостей. До установки её можно опробовать в гугл колаб. Читать далее
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 миллиардов (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 бит. До установки её можно опробовать в гугл колаб. Читать далее