От таких штук нас обещает избавить FlexGen при работе с текстовыми моделями. Ранее я рассказывал про создание виртуальной подруги на основе текстовой модели GPT-J, которую можно развернуть локально. Ожидаемый недостаток этой идеи — большие «аппетиты» текстовых моделей по отношению
Установка новой видеокарты - это рост графической производительности, увеличение фпс, фреймтайма и, конечно, качества самой картинки. Но видеокарты - особенно мощные - стоят недешево, поэтому некоторые умельцы предпочитают использовать вместо одной мощной модели пару штук…
Геймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые игровые видеокарты с 24 ГБ VRAM не всегда справляются с тяжелыми задачами. Почему же до сих пор нет игровой видеокарты с 48 ГБ памяти? В статье разбираемся, что мешает запустить такие карты в серию и, главное, стоит ли вообще ждать их появления. Читать далее
Привет, Хабр! На связи снова команда виртуализации платформы Astra Cloud. Решили рассказать, как мы укрощали тяжелую графику — от первых экспериментов до полноценного релиза.Запрос от заказчиков звучал железобетонно: «Хотим тяжелую графику в виртуализации, как на рабочей станции, но чтобы управлялось централизованно». Мы ответили: «Сделаем». Как будто были другие варианты, ха! Читать далее