Для того, чтобы понимать язык и делать различные выводы, человек рассуждает, опираясь на знания о мире и здравый смысл. Несмотря на то, что большие языковые модели достигли значительных успехов в обработке естественного языка, рассуждение на основе здравого смысла остаëтся…
Представляю в блоге ЛАНИТ вторую часть моего пересказа статьи “A Survey of Transformers”, в которой приведены основные модификации архитектуры стандартного трансформера, придуманные за два года после ее появления. В первой части мы кратко вспомнили, из каких основных элементов и…
Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая статьяА теперь перейдем к чему-то более практическому, а именно к тому, сколько нужно FLOPs и байт для работы трансформера. Подразумевается, что у вас уже есть представление о том, что такое архитектура трансформера, как работает механизм внимания и т.д.Давайте начнем с векторов x, y и матриц A, B, имеющих вот такие размеры, допустим один элемент занимает при этом один байт. Читать далее
Clever Энциклопедии 100 удивительных фактов о теле человека Организм человека впечатляет своими возможностями! В этой книге вас ждут 100 фактов, которые помогут понять, как наш мозг управляет телом, какой путь проходит еда по пищеварительной системе, почему стоит тщательно следить за своим здоровьем. Вы узнаете: Что у человека в 4 раза прочнее бетона? Сколько оттенков способен … Continue reading Энциклопедии Clever Энциклопедии 100 удивительных фактов о теле человека