Перевод: Давыдов А.Н.Мы полюбили RNN (рекуррентные нейронные сети), LSTM (Long-short term memory), и все их варианты. А теперь пора от них отказаться!В 2014 году LSTM и RNN, были воскрешены. Но мы были молоды и неопытны. В течении нескольких лет они был способом решения таких задач как: последовательное…
CQM — другой взгляд в глубоком обучении для оптимизации поиска на естественном языке Краткое описание: Calibrated Quantum Mesh (CQM)— это следующий шаг от RNN / LSTM (Рекуррентные нейронные сети RNN (Recurrent Neural Networks) / Долгая краткосрочная память (Long short-term memory; LSTM) ). Появился новый алгоритм, называемый Calibrated Quantum Mesh (CQM), который обещает повысить точность поиска на естественном языке без использования размеченных данных обучения. Читать дальше
С появлением статьи "Attention Is All You Need" закончилось доминирование рекуррентных нейронных сетей (Recurrent Neural Network — RNN). Поскольку трансформеры показывают лучшие результаты на практике по сравнению с RNN, давайте разберёмся, что они собой представляют и как работают в области компьютерного зрения. Читать далее
Всем привет!Не давно сделал свою Gated RNN, то есть с другой математикой, ни как у LSTM, GRU и подобного.Я хочу (для вас) разобрать её теоретически, практически, замерить (я не умею замерять так что буду замерять как могу), ну и конечно же расскажу плюсы и минусы. Читать далее