Довайте соберем полный конвеер компиляции от исходного кода до готового бинарника из AI-моделей (нет, не соберем) соберем
Вдохновились мы ребятами из PHYGITALISM и их статьей «Как мы заставляли нейронку пялится на ржавчину», а тему подкинул заказчик. Мы – это компания Alter Еgo и специализируемся на стыке технологий машинного зрения, симуляции и добыче данных для задач неразрушимого контроля. Была…
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 битных зависимостей. До установки её можно опробовать в гугл колаб. Читать далее
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 миллиардов (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 бит. До установки её можно опробовать в гугл колаб. Читать далее