Память человека является весьма необычным механизмом, понимание которого в полной мере пока еще нет. Мы можем не помнить, что мы делали пять минут назад, но при этом в деталях помнить события десятилетней давности. Автобиографические воспоминания, которые касаются лично нас,…
В одном из комментариев на одну мою статью я прочитал новое для себя слово - Афантазия. Полез в вики, и понял, что это как раз про меня. Ниже я разберу, как с точки зрения айтишника выглядит этот баг (или фича?) мозга. Картинка выше имеет прямое отношение к теме. Читать далее
Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим. Читать далее
Современные большие языковые модели впечатляют, но остаются громоздкими и статичными. В ближайшие годы мы перейдём от таких «гигантов» к персональным ИИ-спутникам: компактным и обучаемым на ходу. Ключ к этому — долговременная память (mem-векторы), модульные трансформеры, параметро-эффективное дообучение, внешние базы знаний и жёсткая оптимизация под локальное железо. Разбираем, какие технологии уже работают, какие ещё только вырастают из лабораторий и что ждёт нас завтра. Будущее трансформеров