На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.Эксперимент проводили на…
Всем привет! Меня зовут Николай Луняка. В прошлой статье мы строили локальную систему для транскрибации аудио, а сегодня пойдём дальше и соберём локальную агентную AI-систему — без облаков и с контролем над данными.В этой статье я покажу, как собрать связку из трёх ключевых…
???? Как я установил Ollama на Ubuntu 24.04 и начал обучать локальную LLM под свои задачиВ какой-то момент я понял, что хочу иметь свой личный ChatGPT прямо на ноутбуке — локальный, безопасный, работающий без интернета и полностью под моим контролем.У меня обычная рабочая машина:Ubuntu 24.04.3 LTS…
Геймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые игровые видеокарты с 24 ГБ VRAM не всегда справляются с тяжелыми задачами. Почему же до сих пор нет игровой видеокарты с 48 ГБ памяти? В статье разбираемся, что мешает запустить такие карты в серию и, главное, стоит ли вообще ждать их появления. Читать далее