Разбираем фундаментальную ошибку в обучении трансформеров: почему стандартный параметр weight_decay в оптимизаторе AdamW буквально уничтожает геометрию эмбеддингов редких токенов и создаёт сопротивление в слоях нормализации. Читать далее
В предыдущей статье я обратил внимание на интересное поведение Weight Decay, здесь я рассматриваю его более подробно. В индустрии ML принято считать: если мы берем обученную модель и делаем Fine-Tuning на новой задаче, старые веса постепенно перезаписываются. А если добавить Weight Decay…
Шредер Buro Home BU-S630, чёрный, P-4, 6 листов, 11 л, уничтожает скрепки, скобы, пластиковые карты Шредер Buro Home BU-S630, чёрный, P-4, 6 листов, 11 л, уничтожает скрепки, скобы, пластиковые карты в наличиивозможна доставка. Цена: 3705.00 ₽ КУПИТЬ
← Предыдущая глава | В чём секрет успеха трансформеров?В последние годы трансформеры стали самой успешной архитектурой нейронных сетей, особенно в задачах обработки естественного языка. Теперь они близки к тому, чтобы стать SOTA для задач компьютерного зрения тоже. Успех трансформеров обусловлен несколькими ключевыми факторами: их механизм внимания, возможность легкой параллелизации, предварительное обучение без учителя и большое количество параметров. Читать далее