Большие языковые модели (LLM, Large Language Model), как подсказывает их название, часто отличаются значительными размерами и слишком велики для того, чтобы нормально работать на обычных компьютерах. Масштабы этих моделей могут измеряться миллиардами параметров. Обычно для обеспечений…
Феникс-премьер Е. Ульева Энциклопедия в картинках Дом Книга «Дом: энциклопедия для малышей в картинках из серии «Книга почемучки» — это большая энциклопедия в ярких картинках с короткими простыми текстами, которая покажет малышу дом снаружи и внутри, познакомит с предметами мебели и бытовой утварью. Вместе с главными героями малыш посетит прихожую, гардеробную, ванную комнату и туалет, … Continue reading Энциклопедии Феникс-премьер Е. Ульева Энциклопедия в картинках Дом
Как запустить локально LLM 70B параметров на 1 видеокарте с 24gb? Нужно квантование! Квантование - это процесс уменьшения битности вычислений в нейронной сети, используемых для представления весов, смещений и активаций. Путем снижения точности мы можем значительно сократить требования к памяти и вычислительной сложности модели. Читать далее
Феникс-премьер Е. Ульева Энциклопедия в картинках Город Книга «Город: энциклопедия для малышей в картинках» из серии «Книга почемучки» — это большая энциклопедия в ярких картинках с короткими простыми текстами, которая расскажет малышу об устройстве города,…