Перевод: Давыдов А.Н.Мы полюбили RNN (рекуррентные нейронные сети), LSTM (Long-short term memory), и все их варианты. А теперь пора от них отказаться!В 2014 году LSTM и RNN, были воскрешены. Но мы были молоды и неопытны. В течении нескольких лет они был способом решения таких задач как: последовательное…
CQM — другой взгляд в глубоком обучении для оптимизации поиска на естественном языке Краткое описание: Calibrated Quantum Mesh (CQM)— это следующий шаг от RNN / LSTM (Рекуррентные нейронные сети RNN (Recurrent Neural Networks) / Долгая краткосрочная память (Long short-term memory; LSTM) ). Появился новый алгоритм, называемый Calibrated Quantum Mesh (CQM), который обещает повысить точность поиска на естественном языке без использования размеченных данных обучения. Читать дальше
С появлением статьи "Attention Is All You Need" закончилось доминирование рекуррентных нейронных сетей (Recurrent Neural Network — RNN). Поскольку трансформеры показывают лучшие результаты на практике по сравнению с RNN, давайте разберёмся, что они собой представляют и как работают в области компьютерного зрения. Читать далее
С прошлой статьи я внёс несколько изменений:1. Планировщик был сломан и не изменял скорость. Починил.2. Остаточное соединение через умножение.3. WindowedDense для выходной проекции.4. Добавил clipnorm 1, cutoff_rate 0.4Как обычно это всё добавляет стабильности и 1% точности.WindowedDense по неизвестной мне причине добавляет SMR стабильность. Читать далее