Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки. Глухой телефон или неумело прочитанная книга – хорошая метафора. Но есть другая крупная проблема в ML – катастрофическое забывание. Читать далее
Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать кое-что из того, что знает. Новый подход не заменит огромные модели, но зато, возможно, подскажет нам, как именно они понимают естественный язык. Читать далее
Немного из истории турецкого избирательного права: 5 декабря в Турции отмечается как дата, когда турчанки впервые получили право голоса на выборах. Женское избирательное право было получено во время парламентских выборов
Традиционная модель обучения через вдалбливание и точное повторение — это парадигма прошлого, а забывание — это не баг, а фича для обучения своей нейронной сети к распознанию образов.Не помнить на собеседовании все методы класса Object или порядок аргументов для функции выбора подстроки — это не только приемлемо, а даже хорошо. Значит ваш мозг работает исправно. Читать далее