Давайте разберёмся в том, как работает новый метод квантования больших языковых моделей HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS) Читать далее
Группа российских ученых из компании Smart Engines и МФТИ предложила новый способ квантования бинарных нейронных сетей. Им удалось добиться лучших результатов для обучения таких сетей. Работа опубликована в журнале Computer Optics 2024.Ученые из МФТИ с коллегами совершили прорыв,…
Недавно я задавался новозаветным вопросом о трафике в эпоху нейросетей:— Где брать трафик в мире победивших нейросетей?— Где брать трафик в мире победивших нейросетей? Часть 2, где мы меняем сам вопросМоя гипотеза была, что из-за нейросетей поисковый трафик будет падать.На днях
Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть.Рассказываем о видах квантования и приводим примеры в этой статье Читать далее