Долгие годы в NLP считалось правилом хорошего тона связывать матрицу входных эмбеддингов с матрицей выходного классификатора (Weight Tying), чтобы сэкономить память. В этой статье мы разберем геометрическую ошибку этого подхода. Вы узнаете, почему входные и выходные репрезентации имеют прямо противоположные математические цели, и как общая матрица приводит к физическому столкновению градиентов во время обратного распространения ошибки, лишая модель выразительности. Читать далее
Способ визуализации n‑мерных эмбеддингов в трёхмерном пространстве.Обычно при упоминании отображения эмбеддингов (или как мы уже знаем, n‑мерных векторов) имеют в виду отображение множества этих векторов на двумерное или трёхмерное пространство…
Разбираем фундаментальную ошибку в обучении трансформеров: почему стандартный параметр weight_decay в оптимизаторе AdamW буквально уничтожает геометрию эмбеддингов редких токенов и создаёт сопротивление в слоях нормализации. Читать далее
Шредер Buro Home BU-S630, чёрный, P-4, 6 листов, 11 л, уничтожает скрепки, скобы, пластиковые карты Шредер Buro Home BU-S630, чёрный, P-4, 6 листов, 11 л, уничтожает скрепки, скобы, пластиковые карты в наличиивозможна доставка. Цена: 3705.00 ₽ КУПИТЬ