Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки. Глухой телефон или неумело прочитанная книга – хорошая метафора. Но есть другая крупная проблема в ML – катастрофическое забывание. Читать далее
Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать кое-что из того, что знает. Новый подход не заменит огромные модели, но зато, возможно, подскажет нам, как именно они понимают естественный язык. Читать далее
Немного из истории турецкого избирательного права: 5 декабря в Турции отмечается как дата, когда турчанки впервые получили право голоса на выборах. Женское избирательное право было получено во время парламентских выборов
22 сентября Си Цзиньпин встретился с делегацией бизнесменов из Гонконга. Скриншот: CCTV Лидер Коммунистической партии Китая Си Цзиньпин недавно встретился с делегацией гонконгских бизнес-магнатов в то время, когда тысячи студентов продолжали выступать с протестами на улицах Гонконга, пытаясь заставить Пекин обеспечить всеобщее избирательное право на следующих выборах главы администрации автономии. Цель встречи Си с бизнесменами, казалось, заключалась […]