Привет, Хаброжители! Большие языковые модели по-прежнему просто предсказывают следующее слово. Два года назад одна лишь эта причина казалось достаточной, чтобы их отвергать — ведь именно ею обосновывали их неуклюжий вывод. Но в настоящее время большие языковые модели стали гораздо лучше, и одним лишь масштабированием этого не объяснить. Читать далее
Как предсказать настроение своей девушки. Предсказать настроение человека, а тем более женщины, не простая задача. Существует множество методик, к примеру, принимающих во внимание физиологические аспекты, гормональный уровень или фазу луны.Я же решил пойти своим путём опираясь на логику и статистику.Почти за год мною был собран сет данных, основанный на ежедневных опросах моей спутницы по двадцати трём пунктам, как я предположил, способным наиболее выражено повлиять на её настроение. Читать далее
Наш мозг всё время пытается угадать следующее слово, почти как современные большие языковые модели. Это не просто метафора: недавнее исследование показало, что предсказания ИИ удивительно совпадают с тем, что происходит в мозге человека во время восприятия речи. Учёные…
Мы начали с вопроса: откуда GPT-2 знает, когда использовать слово an, а не a? Выбор зависит от того, начинается ли следующее за ним слово с гласной, однако GPT-2 может прогнозировать только одно слово за раз. У нас по-прежнему нет полного ответа, однако мы нашли нейрон MLP в GPT-2 Large, который…